Розділ 2
Метод селекції найбільш інформативних зв'язків
Існуючі архітектури нейромереж можна умовно розділити на два класи. Перший клас-це повні нейромережі, що мають повну систему зв'язків між нейронами за принципом кожен з кожним. Інший клас становлять неповні мережі, в яких частина зв'язків між нейронами відсутня. В повних мережах можна застосовувати ПІ алгоритм навчання, що забезпечує запам'ятовування даних за одну ітерацію і асоціативне читання. Але такі мережі відзначаються невисокою ефективністю використання ресурсів фізичної пам'яті, а також значними витратами часу на обчислення реакції. Неповні нейромережі, особливо мережі прямого розповсюдження, в яких зв'язки є проективними, відрізняються економним використання фізичної пам'яті та малими витратами часу на обчислення реакції мережі. Але вони мають істотний недолік - їх навчання можна здійснювати лише ітеративним шляхом, наприклад за методом зворотнього поширення похибок (Back propagation) [32,74-77], який потребує набагато більше часу обчислень, ніж ПІ алгоритм.
Застосування формул ПІ алгоритму для обчислення ваги зв'язків у неповних нейромережах дає певний ефект лише при незначному заповненні асоціативної пам'яті нейромережі. Досить успішним прикладом такого застосування є робота Броколлі та ін. [43,44,78,79], де запропоновано модифікацію ПІ алгоритму для навчання неповних мереж клітинної (cellular) структури. Але, як показано у роботах Новицького Д. та Дехтяренка??О. ?[80,81], місткість асоціативної пам'яті такої клітинної мережі визначається числом зв'язків нейронів (тобто розмірами клітини) і не залежить від розмірів самої мережі. Тому вона не має переваг порівняно з повною мережею ні за обсягом обчислень при навчанні, ні за ефективністю використання фізичної пам'яті.
Недоліки запропонованої Броколлі модифікації ПІ алгоритму пояснюються апріорним визначенням структури клітин, яке не враховує асоціативні зв'язки між елементами запам'ятовуваних векторів. Тому при обчисленні ваги зв'язків втрачається частина структурної інформації, необхідної для асоціативного згадування.
Інший шлях застосування ПІ алгоритму для розрахунку неповних нейронних мереж, запропонований нами в роботі [82], полягає в селекції найбільш інформативних зв'язків повної мережі після виконання обчислень синаптичної матриці за ПІ алгоритмом. Він дозволяє поєднати переваги ПІ алгоритму у швидкості навчання нейромережі з вигодами, що дає застосування неповних структур при її екзамені. Як показали виконані в [82] експерименти, застосування цього методу дозволяє в 3-4 рази скоротити обсяг фізичної пам'яті нейромережі. Але залишались відкритими питання про стабільність цього виграшу, його залежність від властивостей запам'ятовуваної інформації та розмірів нейромережі. Вивчення цих питань становить предмет даного розділу дисертації.
2.1. Розподіл значень ваги синаптичних зв'язків
Розраховані в процесі навчання значення міжнейронних зв'язків віддзеркалюють статистичну залежність між елементами запам'ятовуваних векторів стану нейронної мережі. Середні значення елементів синаптичної матриці, розрахованої за ПІ алгоритмом, задовольняють співвідношенням [1.6,1.7,1.8]:
M/N, M < N,
?Cii =
1 , M > N,
??Cij ? = [ M/N(1- M/N)] 1/2 (N-1)-1/2,
де: ?Cii - середнє значення діагональних елементів синаптичної матриці;
??Cij ? - середнє абсолютне значення недіагональних елементів;
N- кількість нейронів мережі ;
M - число запам'ятованих станів (образів).
Діагональні елементи матриці C мають позитивні значення і зростають при збільшенні числа запам'ятованих образів, тоді як недіагональні елементи можуть мати довільний знак. Значення цих елементів стає рівним нулю при M=0, або M ? N. При M=N/2 середнє абсолютне значення досягає максимуму, що дорівнює 1/2(N-1)1/2.
Однак ці середні оцінки мало говорять про фактичний розподіл значень Cij та його залежність від статистичних характеристик запам'ятованих даних. Експериментальне вивчення цих питань проводилось з використанням трьох наборів векторів навчальної послідовності, що відрізнялись рівнем насиченості та взаємної кореляції. Кожний вектор складався з елементів, що мали значення +1 або -1. Насиченість вектора L визначалась відношенням числа елементів, які мають значення +1, до загальної кількості нейронів мережі. При створенні наборів некорельованих векторів початкові значення компонент мали значення -1, після чого виконувалось інвертування знаків для L компонент, адресу яких видавав генератор випадкових чисел. Для створення набору корельованих векторів за початковий вектор було взято вектор з насиченістю L1 = 0,4 в якому потім були інвертовані значення 0,1 N елементів. Насиченість таких векторів становила близько 0,4, а коефіцієнт кореляції знаходився в межах від 0,5 до 0,9.
На рис.2.1 наведено гістограми Cii та Cij для мережі з N = 256 нейронів після запам'ятовування 26 образів (M/N ? 0,1). Як видно у випадку насичених некорельованих образів (L = 0,40), розподіл значень Cii та Cij близький до нормального, причому для діагональних елементів середнє значення дорівнює M/N, тоді як недіагональні елементи симетрично розподілені довкола нуля. У випадку мало насичених образів (L=0,1) симетрія порушується, причому особливо помітна асиметрія значень недіагональних елементів (гострий пік при Cij=0,005). При наявності кореляції (L = 0,40 кор.) розподіл для діагональних елементів відрізняється асиметрією та зростанням дисперсії, тоді як розподіл недіагональних елементів виявляється симетричним. Як і у випадку слабо насичених образів, розподіл значень недіагональних елементів має пік при Cij ? 0,005Cij, крім того з'являється ще один пік, симетричний даному відносно нуля, при Cij ? -0,005.
Асиметрію розподілу значень вагових коефіцієнтів можна пояснити характером процесу формування синаптичних зв'язків. При запам'ятовуванні образа, представленого вектором V кожний зв'язок між нейронами отримує додаток, що обчислюється за формулами (1.3- 1.5):
CijM