Sieci neuronowe do przetwarzania informacji

Podręcznik „Sieci neuronowe do przetwarzania informacji” stanowi oryginalne ujęcie najnowszych osiągnięć w dziedzinie sztucznych sieci neuronowych oraz ich zastosowań. Jest rozszerzoną i znacznie zmodyfikowaną wersją wcześniejszego wydania podręcznika pod tym samym tytułem. W stosunku do poprzedniego wydania zawiera dodatkowo omówienie sieci typu Support Vector Machine (SVM), znacznie rozbudowaną część dotyczącą sieci rozmytych oraz przedstawienie wielu nowych zastosowań.

Sztuczne sieci neuronowe zdobyły sobie szerokie uznanie w świecie nauki poprzez swoją zdolność łatwego zaadoptowania do rozwiązania różnorodnych problemów obliczeniowych w nauce i technice. Mają właściwości pożądane w wielu zastosowaniach praktycznych: stanowią uniwersalny układ aproksymacyjny odwzorowujący wielowymiarowe zbiory danych, mają zdolność uczenia się i adaptacji do zmieniających się warunków środowiskowych, zdolność generalizacji nabytej wiedzy, stanowiąc pod tym względem szczytowe osiągnięcie sztucznej inteligencji. Podstawową bazą działania sieci są algorytmy uczące pozwalające na optymalny dobór parametrów i struktury sieci dopasowujących się do problemu podlegającemu rozwiązaniu.

Spis treści

Przedmowa / 11

1. Wstęp / 13
1.1. Podstawy biologiczne działania neuronu / 13
1.2. Pierwsze modele sieci neuronowej / 16
1.3. Przegląd zastosowań sieci neuronowych / 18

2. Modele neuronów i metody ich uczenia / 21
2.1. Perceptron / 22
2.2. Neuron sigmoidalny / 23
2.3. Neuron radialny / 28
2.4. Neuron typu adaline / 29
2.5. Instar i outstar Grossberga / 31
2.6. Neurony typu WTA / 34
2.7. Model neuronu Hebba / 38
2.8. Model stochastyczny neuronu / 41
2.9. Zadania i problemy / 43

3. Sieci jednokierunkowe wielowarstwowe typu sigmoidalnego / 44
3.1. Sieć jednowarstwowa / 45
3.2. Sieć wielowarstwowa perceptronowa / 48
3.2.1. Struktura sieci perceptronowej / 48
3.2.2. Algorytm propagacji wstecznej / 49
3.3. Grafy przepływowe w zastosowaniu do generacji gradientu / 53
3.4. Algorytmy gradientowe uczenia sieci / 58
3.4.1. Zależności podstawowe / 58
3.4.2. Algorytm największego spadku / 60
3.4.3. Algorytm zmiennej metryki / 61
3.4.4. Algorytm Levenberga-Marquardta / 63
3.4.5. Algorytm gradientów sprzężonych / 65
3.5. Dobór współczynnika uczenia / 66
3.6. Metody heurystyczne uczenia sieci / 69
3.6.1. Algorytm Quickprop / 70
3.6.2. Algorytm RPROP / 71
3.7. Program komputerowy MLP do uczenia sieci perceptronowej / 72
3.8. Porównanie efektywności algorytmów uczących / 73
3.9. Elementy optymalizacji globalnej / 78
3.9.1. Algorytm symulowanego wyżarzania / 81
3.9.2. Elementy algorytmów genetycznych / 84
3.10. Metody inicjalizacji wag / 89
3.11. Zadania i problemy / 91

4. Problemy praktycznego wykorzystania sieci neuronowych / 93
4.1. Zdolności generalizacyjne sieci neuronowych / 93
4.1.1. Zależności podstawowe / 93
4.1.2. Miara VCdim / 94
4.1.3. Zależności między błędem generalizacji i miarą VCdim / 95
4.1.4. Przegląd metod zwiększania zdolności generalizacyjnych sieci neuronowej / 97
4.2. Wstępny dobór architektury sieci / 102
4.3. Dobór optymalnej architektury sieci pod względem generalizacji / 105
4.3.1. Metody wrażliwościowe redukcji sieci / 106
4.3.2. Metody redukcji sieci z zastosowaniem funkcji kary / 110
4.4. Wtrącanie szumu do próbek uczących / 112
4.5. Zwiększanie zdolności generalizacyjnych przez użycie wielu sieci / 115
4.6. Przykłady zastosowań sieci perceptronowej / 117
4.6.1. Rozpoznawanie i klasyfikacja wzorców binarnych / 117
4.6.2. Rozpoznawanie wzorców na podstawie obrysu zewnętrznego / 126
4.6.3. Sieć neuronowa do kompresji danych / 132
4.6.4. Identyfikacja obiektów dynamicznych / 136
4.6.5. Predykcja obciążeń systemu elektroenergetycznego / 139
4.7. Zadania i problemy / 143

5. Sieci neuronowe radialne / 144
5.1. Podstawy matematyczne / 145
5.2. Sieć neuronowa radialna / 147
5.3. Metody uczenia sieci neuronowych radialnych / 153
5.3.1. Proces samoorganizacji w zastosowaniu do adaptacji parametrów funkcji radialnych / 154
5.3.2. Algorytm probabilistyczny doboru parametrów funkcji radialnych / 157
5.3.3. Algorytm hybrydowy uczenia sieci radialnych / 159
5.3.4. Algorytmy uczące oparte na propagacji wstecznej / 161
5.4. Metody doboru liczby funkcji bazowych / 164
5.4.1. Metody heurystyczne / 164
5.4.2. Metoda ortogonalizacji Grama-Schmidta / 165
5.5. Program komputerowy uczenia sieci radialnych / 170
5.6. Przykład zastosowania sieci radialnej w aproksymacji / 172
5.7. Porównanie sieci radialnych z sieciami sigmoidalnymi / 174
5.8. Zadania i problemy / 176

6. Sieci SVM / 177
6.1. Sieć liniowa SVM w zadaniu klasyfikacji / 178
6.2. Sieć nieliniowa SVM w zadaniu klasyfikacji / 184
6.3. Interpretacja mnożników Lagrange’a w rozwiązaniu sieci / 192
6.4. Problem klasyfikacji przy wielu klasach / 193
6.5. Sieci SVM do zadań regresji / 194
6.6. Przegląd algorytmów rozwiązania zadania dualnego / 197
6.7. Program komputerowy uczenia sieci SVM / 201
6.8. Przykłady zastosowania sieci SVM / 204
6.8.1. Problem klasyfikacyjny dwu spiral / 204
6.8.2. Rozpoznawanie tekstur / 205
6.8.3. Wykrywanie uszkodzeń elementów w obwodzie filtru elektrycznego / 207
6.9. Porównanie sieci SVM z innymi rozwiązaniami neuronowymi / 209
6.10. Zadania i problemy / 214

7. Specjalizowane struktury sieci neuronowych / 215
7.1. Sieć kaskadowej korelacji Fahlmana / 215
7.2. Sieć Volterry / 221
7.2.1. Struktura i zależności uczące sieci / 222
7.2.2. Przykłady zastosowań sieci Volterry / 225
7.3. Zadania i problemy / 232

8. Sieci rekurencyjne jako pamięci asocjacyjne / 233
8.1. Wprowadzenie / 233
8.2. Sieć autoasocjacyjna Hopfielda / 235
8.2.1. Zależności podstawowe / 235
8.2.2. Tryb uczenia sieci Hopfielda / 238
8.2.3. Tryb odtworzeniowy sieci Hopfielda / 239
8.2.4. Program Hop win / 240
8.3. Sieć Hamminga / 243
8.3.1. Struktura sieci i algorytm doboru wag / 243
8.3.2. Działanie sieci Hamminga / 245
8.3.3. Program Shamming uczenia sieci / 246
8.4. Sieć typu BAM / 249
8.4.1. Opis działania sieci / 249
8.4.2. Zmodyfikowany algorytm uczący sieci BAM / 252
8.4.3. Zmodyfikowana struktura sieci BAM / 253
8.5. Zadania i problemy / 259

9. Sieci rekurencyjne tworzone na bazie perceptronu / 261
9.1. Wprowadzenie / 261
9.2. Sieć perceptronowa ze sprzężeniem zwrotnym / 261
9.2.1. Struktura sieci RMLP / 261
9.2.2. Algorytm uczenia sieci RMLP / 263
9.2.3. Dobór współczynnika uczenia / 265
9.2.4. Współczynnik wzmocnienia sygnału / 266
9.2.5. Wyniki symulacji komputerowych / 266
9.3. Sieć rekurencyjna Elmana / 271
9.3.1. Struktura sieci / 271
9.3.2. Algorytm uczenia sieci Elmana / 273
9.3.3. Uczenie z wykorzystaniem momentu / 275
9.3.4. Przykładowe wyniki symulacji komputerowych sieci Elmana / 276
9.4. Sieć RTRN / 280
9.4.1. Struktura sieci i algorytm uczący / 280
9.4.2. Wyniki eksperymentów numerycznych / 282
9.5. Zadania i problemy / 286

10. Sieci samoorganizujące się na zasadzie współzawodnictwa / 287
10.1. Zależności podstawowe sieci samoorganizujących się przez współzawodnictwo / 287
10.1.1. Miary odległości między wektorami / 289
10.1.2. Normalizacja wektorów / 290
10.1.3. Problem neuronów martwych / 291
10.2. Algorytmy uczące sieci samoorganizujących / 292
10.2.1. Algorytm Kohonena / 293
10.2.2. Algorytm gazu neuronowego / 294
10.2.3. Program Kohon / 296
10.2.4. Porównanie algorytmów samoorganizacji / 298
10.3. Sieć odwzorowań jedno- i dwuwymiarowych / 300
10.4. Odwzorowanie Sammona / 303
10.5. Zastosowania sieci samoorganizujących / 305
10.5.1. Kompresja danych / 305
10.5.2. Wykrywanie uszkodzeń w urządzeniach / 308
10.5.3. Krótkoterminowe prognozowanie obciążeń systemu elektroenergetycznego / 311
10.6. Sieć hybrydowa / 315
10.7. Zadania i problemy / 319

11. Sieci samoorganizujące typu korelacyjnego / 321
11.1. Funkcja energetyczna sieci korelacyjnych / 321
11.2. Sieci neuronowe PCA / 323
11.2.1. Wprowadzenie matematyczne / 323
11.2.2. Relacja między przekształceniami PCA i SVD / 326
11.2.3. Estymacja pierwszego składnika głównego / 327
11.2.4. Algorytmy estymacji wielu składników głównych / 328
11.3. Sieci neuronowe do ślepej separacji sygnałów / 331
11.3.1. Zależności wstępne / 331
11.3.2. Niezależność statystyczna sygnałów / 332
11.3.3. Struktura rekurencyjna sieci separującej / 333
11.3.4. Algorytm Heraulta-Juttena dla sieci rekurencyjnej / 335
11.3.5. Algorytm Cichockiego uczenia sieci rekurencyjnej / 336
11.3.6. Program ślepej separacji BS / 337
11.3.7. Sieć jednokierunkowa do separacji sygnałów / 340
11.3.8. Toolbox ICALAB / 346
11.4. Zadania i problemy / 347

12. Podstawy matematyczne systemów rozmytych / 348
12.1. Operacje na zbiorach rozmytych / 350
12.2. Miary rozmytości zbiorów rozmytych / 352
12.3. Rozmytość a prawdopodobieństwo / 353
12.4. Reguły rozmyte wnioskowania / 354
12.5. Systemy wnioskowania rozmytego Mamdaniego-Zadeha / 356
12.5.1. Fuzyfikator / 358
12.5.2. Defuzyfikator / 362
12.5.3. Model Mamdaniego-Zadeha jako układ uniwersalnego aproksymatora / 363
12.6. Model wnioskowania Takagi-Sugeno-Kanga / 364
12.7. Zadania i problemy / 367

13. Sieci neuronowe rozmyte / 369
13.1. Struktura sieci rozmytej TSK / 369
13.2. Struktura sieci Wanga-Mendela / 373
13.3. Algorytmy samoorganizacji w zastosowaniu do uczenia sieci rozmytej / 374
13.3.1. Algorytm grupowania górskiego / 375
13.3.2. Algorytm C-means / 378
13.3.3. Algorytm Gustafsona-Kessela samoorganizacji rozmytej / 380
13.4. Generacja reguł wnioskowania sieci rozmytej / 385
13.5. Algorytm hybrydowy uczenia sieci rozmytej TSK / 388
13.6. Modyfikacje sieci TSK / 392
13.6.1. Algorytm wyznaczania liczby reguł wnioskowania / 393
13.6.2. Przykład numeryczny / 395
13.6.3. Uproszczona sieć TSK / 398
13.7. Sieć hybrydowa rozmyta / 400
13.8. Przykłady zastosowań sieci rozmytych / 402
13.8.1. Estymacja stężenia składników mieszaniny gazowej / 403
13.8.2. Rozpoznawanie składników mieszanin gazowych / 404
13.8.3. Rozpoznawanie gatunków piwa na podstawie zapachu / 407
13.9. Adaptacyjny algorytm samoorganizacji dla sieci rozmytej / 409
13.10. Zadania i problemy / 412

14. Głębokie sieci neuronowe / 414
14.1. Sieci konwolucyjne CNN / 415
14.1.1. Podstawy teoretyczne sieci CNN / 415
14.1.2. Operacje sygnałowe w warstwach konwolucyjnych / 419
14.1.3. Struktura sieci w pełni połączona / 425
14.1.4. Uczenie sieci CNN / 427
14.1.5. Transfer learning / 430
14.1.6. Przykłady różnych rozwiązań sieci CNN / 431
14.1.7. Przykłady zastosowań sieci CNN w Matlabie / 436
14.2. Sieci generatywne GAN / 442
14.3. Autoenkoder / 445
14.4. Autoenkoder wariacyjny / 455
14.4.1. Podstawy działania / 455
14.4.2. Proces uczenia sieci VAE / 457
14.5. Ograniczona maszyna Boltzmanna / 460
14.5.1. Pojęcia wstępne / 460
14.5.2. Algorytm uczenia sieci RBM / 462
14.6. Sieć DBN / 466
14.7. Sieć rekurencyjna LSTM / 467
14.7.1. Wprowadzenie / 467
14.7.2. Zasada działania sieci LSTM / 469
14.8. Przykłady zastosowań sieci głębokich / 476
14.9. Podsumowanie / 482

Bibliografia / 484

Skorowidz / 496

Informacje o bezpieczeństwie produktu Informacje o producencie