Нейрокомпьютеры

– аналог постоянного порогового потенциала нервной клетки; ( =1/(; (=(ki ;

ki – коэффициент пропорциональности при V(t); Zmax - максимально возможное

значение Z(t), определяемое абсолютной рефрактерностью моделируемой клетки.

Вводя в систему (10) обозначение возбудимости нейрона в виде функции

y(t) = P(t) – ?п, (11)

получим идеализированную математическую модель информационных процессов в

нервной клетке, которая имеет следующий вид:

где ( ( (?п; ((j(t) – синаптический вес, величина которого может изменяться

во времени под воздействием внешних факторов, например из-за аксо-аксонных

взаимодействий.

Как и в модели (8), первое уравнение системы (12) описывает процесс

пространственной суммации входных воздействий, но не в форме единичных

спайков, а в более общей форме величин, имеющих смысл мгновенных частот их

следования. Второе уравнение описывает закон изменения возбудимости нейрона

y(t), а третье – определяет процесс формирования выходных величин,

характеризующих текущее возбуждение нервной клетки.

Математическую модель (12) можно использовать для построения

нейроподобных элементов и цифровых нейропроцессоров.

3.Модели адаптивных процессов в нейроне

Адаптация, или приспособление к изменяющимся условиям внешней среды,

является одним из наиболее важных свойств всего живого. Это свойство

проявляется не только на уровне всего организма, но и на уровне отдельных

его подсистем, отдельных клеток и внутриклеточных образований. На этом

основании были разработаны модели нейронов, описывающие адаптивные реакции

нейрона. Суть таких реакций заключается в плавном понижении частоты

выходной импульсации в ответ на продолжительное стационарное внешнее

воздействие, имеющее вид ступенчатой функции. Переходная характеристика

адаптивной модели в этом случае соответствует кривой 1 на рисунке 1. Кривая

2 на том же рисунке обозначает реакцию на то же входное воздействие V(t)

неадаптивного нейрона.

Другим типом адаптивных реакций являются так называемые “on”, “off” и

“on–off” ответы нервных клеток. Они наиболее характерны для рецепторных

нейронов зрительного анализатора и возникают при световом раздражении

сетчатки глаза.

По виду переходные характеристики “on”, “off” ответов отличаются от

кривой 1 на рисунке 1 тем, что при возрастании времени t они довольно

быстро стремятся к нулю, а не к некоторой, отличной от нуля, постоянной

величине. Последнее обстоятельство приводит к выводу о возможности

воспроизведения адаптивных “on”, “off” ответов путем дифференцирования

реакций неадаптивного нейрона, а именно кривых типа 2 на рисунке 1.

Действительно, в этом случае выходные импульсные последовательности будут

появляться в моменты начала и окончания ступенчатого входного воздействия,

что и соответствует “on”, “off” ответам нейрона. Легко показать, что такой

простейший механизм адаптивного поведения можно воспроизвести при помощи

математической модели (12) практически без ее усложнения.

Рис. 1. Переходные характеристики.

Пусть суммарное входное воздействие V(t), поступающее на синаптические

входы нейрона, представляет собой ступенчатый сигнал h, определяемый

соотношением:

Тогда при ? = 0 и ( = 1 второе уравнение системы (12) примет вид

Решением уравнения (13) является функция

график которой совпадает с переходной характеристикой неадаптивной модели

нейрона. Именно по этой причине устройство, реализующее алгоритм (12),

может использоваться как искусственный неадаптивный нейрон.

Однако, если в качестве выходной величины неадаптивной модели нервной

клетки использовать не функцию Z(t), а абсолютные значения дифференциалов

dy(t), то выходная реакция такой модели на входное ступенчатое воздействие

будет описываться соотношением

Нетрудно видеть, что график функции (14) качественно не отличается от

переходной характеристики модели, реализующей “on” и “off” ответы

нейронов. Последнее обстоятельство позволяет утверждать, что для

моделирования простейших адаптивных реакций нервных клеток рецепторного

типа достаточно воспроизводить первые два уравнения модели (12), а выходы

организовать в соответствии с получаемым из (12) соотношением

где ( – неизменный во времени порог.

В то же время, по мнению нейрофизиологов, более сложные механизмы

адаптивного поведения нейронов основаны на изменении их пороговых свойств.

В соответствии с другими представлениями изменение порога клетки

происходит в зависимости от изменения входной активности нейрона. Модель,

воспроизводящую второй механизм, называют адаптивной по входу. Очевидно,

что могут иметь место динамические нейроподобные элементы, адаптивные как

по входу, так и по выходу одновременно. Строятся такие модели на основе

следующих рассуждений.

Для построения на основе алгоритма (10) математической модели

адаптивной обработки информации в нейроне будем исходить из того, что, по

мнению физиологов, механизм адаптивного поведения нервных клеток связан с

изменениями порога (. В связи с этим используем уравнение (6), но не для

формирования спайков как в модели (8), а для воспроизведения адаптивных

реакций нейрона. При этом будем полагать, что при адаптации по выходу

мембранный потенциал клетки сравнивается с переменным порогом ((t(, закон

изменения которого имеет вид

Используя уравнение (15) в алгоритме (10), получим нейроподобную

модель с адаптацией по выходу:

В случае адаптации по входу в правой части уравнения (15) вместо Z(t)

необходимо использовать функцию P(t). Поэтому нейроподобная модель с

адаптацией по входу несколько отличается от модели (16) и имеет следующий

вид:

Очевидно, что для модели с адаптацией как по входу, так и по выходу

будем иметь:

В системе уравнений (18) порог ((t) зависит как от входной величины

(2P(t), так и от выходной (1Z(t) активности нервной клетки. Причем полагая

(2 = 0, (1 ( 0, получим модель с адаптацией только по входу. Более того,

при (1 = (2 = (2 = 0 и ((t)–( = y(t) получим исходную неадаптивную модель

(10).

Иными словами, модель (18) более универсальна, чем неадаптивная модель

(10), и по этой причине может быть использована для построения

искусственных нейронов, воспроизводящих как адаптивные, так и неадаптивные

реакции. Однако структура искусственного нейрона при этом также

усложняется. Поэтому прежде чем решить вопрос о целесообразности подобного

усложнения, необходимо учесть мнение физиологов о том, что нервная клетка

является лишь структурной единицей мозга и в полной мере обладает далеко не

всеми свойствами биологических систем.

В частности, многие физиологи полагают, что адаптивные реакции типа

привыкания, как и многие другие функции нервной ткани, реализуются не

отдельными нейронами, а их совокупностями в процессе совместной

корпоративной деятельности. В связи с этим наряду с понятием нейрона, как

структурной единицы нервной системы, в современной нейрофизиологии

используется понятие о ее функциональной единице, в качестве которой

выступает не отдельный нейрон, а некоторая совокупность нервных клеток,

называемая нейронным ансамблем. В простейшем случае нейронный ансамбль

состоит из двух взаимосвязанных нейронов, один из которых выполняет

основные функции, а второй – вспомогательные (усиление, торможение,

модификация процессов в основном нейроне и т. д.).

При таком подходе систему уравнений (18) можно рассматривать как

модель информационных процессов не в отдельной клетке, а в гипотетическом

двухнейронном ансамбле, основной нейрон которого реализует алгоритм (10), а

вспомогательный воспроизводит процесс модификации порогового потенциала

основного нейрона в функции от его входной и выходной активности. Алгоритм

вспомогательного нейрона при этом может быть представлен в следующем виде:

где x1 = P(t) – пространственный потенциал дендритного дерева основного

нейрона, поступающий на вспомогательный нейрон при помощи дендритных

связей; x2 = Z(t) – выходная активность основного нейрона, заводимая на

вспомогательный нейрон при помощи аксосоматической связи; (п – порог покоя

вспомогательного нейрона, совпадающий с порогом покоя нейрона основного;

W(t) – соматический выход вспомогательного нейрона, поступающий на сому

основного нейрона через сомасоматический контакт.

С учетом алгоритма (19), модель информационных процессов в основном

нейроне принимает вид:

Таким образом, с целью воспроизведения адаптивных реакций вместо

усложнения структуры отдельного искусственного нейрона можно идти путем

создания адаптивных нейроподобных ансамблей, состоящих из устройств,

реализующих более простую неадаптивную модель (10), (12). Важная

особенность этой модели состоит в том, что на ее основе могут строиться не

только искусственные нейроны и нейроподобные ансамбли с адаптивными

реакциями типа “on”, “off” ответов и функцией привыкания, но и такие

субклеточные информационные процессы, как облегчение синаптической

передачи.

Суть облегчения заключается в том, что при увеличении интенсивности

входных воздействий на некоторый синапс происходит повышение его

интенсивности, т. е. повышается его способность к еще более интенсивной

передаче возбуждений на постсинаптическую мембрану. И, наоборот, при

уменьшении интенсивности входных воздействий (при уменьшении использования

синапса в некоторой нейрональной информационной цепи) его эффективность

падает. Модификацию синаптической передачи можно связать с такими

изменениями синаптических весов (j , при которых все величины (j

становятся прямо пропорциональными частотам следования соответствующих

входных импульсаций xj(t). Тогда интенсивность синаптической передачи будет

соответствовать идее облегчения, т. е. при увеличении интенсивности входных

воздействий соответствующие коэффициенты (j будут увеличиваться, а при ее

уменьшении – уменьшаться.

В качестве математической модели данного процесса можно использовать

уравнение, подобное (15), но записанное относительно переменного во времени

синаптического веса (j (t):

где (с – постоянная времени изменения синаптического веса; (п –

синаптический вес покоя (при отсутствии x(t)).

Если в уравнении (20) положить x(t) = h, где

то его решением будет служить функция

Из выражения (21) следует, что

т. е. для больших x синаптический вес больше, для меньших – меньше.

Иными словами модель (20) действительно может служить моделью такого

процесса, как облегчение синаптической передачи.

Резюмируя изложенное приходим к выводу, что модели учитывающие

пространственно-временную суммацию, т. е. модели типа (10), (12) являются

достаточно универсальными и могут быть положены в основу построения

различных нейроподобных элементов, ансамблей и сетей.

4.Формальные нейроны

Наиболее простой физически реализуемой информационной моделью нервной

клетки является формальный нейрон (ФН). В основе построения формальных

нейронов лежит представление о нервной клетке как о логическом элементе,

работающем по принципу «все или ничего». Предполагается, что между клетками

возможны аксо-дендритные синаптические взаимодействия. Входные и выходные

спайки аппроксимируются при этом единичными импульсами прямоугольной формы

e(t) или единичными потенциалами и считается, что выходная функция является

логической функцией от входных булевых переменных, а также от синаптических

весов (j(t)=(j и порога (п, принимающих целочисленные значения.

Обычно формальный нейрон определяется как пороговый логический элемент

со следующими основными свойствами:

1. Он имеет N синаптических входов, которые могут быть возбуждающими

((j>0) или тормозными ((j0 цифровой нейроподобный

элемент выполняет функции генератора величин Zi+1(t=kyi(t, т. е. выполняет

функции нейрона, а при (t=0 превращается в элемент памяти. В последнем

случае величина yi хранится в регистре ЦНЭ без изменения. Для ее считывания

необходимо положить k=1, (j=0, (=0, (=0 и подать (t=1, а для записи новой

информации на одном из входов r необходимо в течение одного шага

интегрирования иметь синаптический вес (r=1, а коэффициенты (j (j(r)

синаптических весов остальных входов – равными нулю, (=0, (=0, (t=1.

Следует отметить и еще одну особенность рассматриваемого алгоритма.

Ее суть состоит в том, что при 0(yi(1, (=0, (=1, (j({0, 1}, (t({0, 1},

k({0, 1}, xji({0, 1}, Zi+1({0,1} цифровой нейроподобный элемент,

реализующий алгоритм (27), в функциональном отношении превращается в схему,

выполняющую следующее логическое выражение:

Последнее обстоятельство интересно в том отношении, что открывает

принципиальную возможность построения нейроподобных сетей, состоящих из

цифровых динамических нейронов, позволяющих при некоторых условиях

выполнять чисто алгебраические соотношения, свойственные логическим

моделям.

Иными словами, разностный алгоритм (27) цифрового нейроподобного

элемента является довольно универсальным. Он может служить обобщением не

только динамических, но и формально-логических моделей. С учетом

возможности изменения параметров (, (j, (, k, а в общем случае и параметра

(:

этот алгоритм может быть представлен в следующем виде:

Причем приращения ((i, ((ji, ((i, (ki, ((i переменных параметров (i, (ji,

(i, ki, (i, как и входные приращения xj(i-1)(t могут формироваться либо на

выходах других ЦНЭ в виде последовательностей Zi+1(t, либо поступать извне

по каналам сенсорных систем.

Таким образом, цифровая модель нейрона, построенная на основе

цифровых интеграторов и сумматоров и воспроизводящая разностный алгоритм

(34 – 36) с переменными параметрами, обладает функциональной пластичностью

и может служить в качестве процессорного элемента, пригодного как для

использования в нейрокибернетических и нейрофизиологических исследованиях,

так и для использования в цифровых нейрокомпьютерных системах,

ориентированных на решение сложных задач вычислительной математики,

робототехники и искусственного интеллекта.

Важная особенность этих нейроэлементов состоит в том, что помимо

работы в режимах различных искусственных нейронов они способны структурно

выполнять ряд крупных математических операций, таких как определение

скалярного произведения двух векторов, численное интегрирование, выделение

положительных приращений интеграла.

Действительно, рассматривая алгоритм (34 – 36), нетрудно видеть, что

соотношение (34) представляет собой скалярное произведение двух векторов

Гi= [(1i, (2i,(,(Ni] и X=[x1i, x2i,(,xNi]T , умноженное на шаг (t.

Следовательно, если в ЦНЭ наряду с основным выходом положительных

приращений Zi+1(t предусмотреть дополнительный выход приращений Vi(t, то

появится возможность одновременного использования ЦНЭ как минимум в двух

режимах: в режиме определения приращений Vi(t и в режиме определения

положительных приращений интеграла Zi+1(t. Организуя еще один выход, а

именно выход приращений yi(t, получим дополнительный режим – режим

численного интегрирования без выделения положительных величин. При этом

следует подчеркнуть, что применение в схеме ЦНЭ дополнительных выходов не

только не исключает возможности его применения в рассмотренных ранее

режимах относительно основного выхода Zi+1(t, но и существенно расширяет

его функциональные возможности. Например, при (=(t=1 и при использовании в

ЦИ многоразрядных приращений, на основном выходе ЦНЭ формируется функция

(29), а в случае применения ЦИ с одноразрядными приращениями формируется

функция (30).

В то же время наличие первого дополнительного выхода обеспечивает

возможность одновременного использования того же ЦНЭ и в качестве блока,

реализующего вычисление скалярного произведения, т. к. на его первом

дополнительном выходе формируется сумма произведений:

а на втором дополнительном выходе формируется величины:

Таким образом, в отличие от формальных и аналоговых динамических

нейронов, в которых постулируется отсутствие всяких взаимодействий между

нервными клетками, кроме синаптических, в предлагаемых цифровых

нейроподобных элементах допускаются подпороговые (соматические)

взаимодействия, допускается возможность модификации синаптических весов ((

ji = (j(i-1) + ((ji) за счет дополнительных выходов yi(t, а также

возможность изменения других параметров нейроподобной модели в функции как

от основных, так и дополнительных выходных величин.

Указанные обстоятельства позволяют рассматривать предлагаемый ЦНЭ с

дополнительными выходами и входами приращений параметров в качестве

специализированного нейроподобного процессора, операционный базис которого

составляют операции разностного алгоритма (34 – 36). Наиболее важным при

этом является то, что данный базис выбран не произвольно, а получен в

результате математического описания информационных процессов в нервной

клетке и, следовательно, является объективно обусловленным для мозга.

Поэтому можно предположить, что нейросети цифровых нейрокомпьютеров,

составленные из нейроподобных процессоров будут отличаться пластичностью,

адаптивностью, самоорганизацией, устойчивостью, т. е. теми свойствами,

которые характерны для систем мозга. А если так, то построенные на базе ЦНЭ

нейрокомпьютеры могут быть использованы не только в нейрофизиологических и

нейрокибернетических экспериментах, но и в исследованиях, направленных на

разработку принципов построения различных распознающих, вычислительных и

управляющих систем нейроподобного типа. Именно по этой причине идея

использования алгоритма (34–36) в качестве операционного базиса

процессорных элементов цифровых нейрокомпьютеров является весьма

целесообразной. Цифровой нейроподобный элемент, реализующий алгоритм

(34–36) называют цифровым нейроподобным процессором (ЦНП), или цифровым

нейропроцессором.

11. Структура цифрового нейропроцессора

На основании разностного алгоритма (34–36) можно сделать вывод о том,

что с целью упрощения ЦНП его схему целесообразно строить на базе цифровых

интеграторов, реализующих формулу прямоугольников. Связано это с тем, что

при работе ЦНП в режиме ЦНЭ нет смысла применять более точные формулы

интегрирования, чем формула Эйлера, а возникающая при его работе в качестве

процессорного элемента нейрокомпьютеров погрешность может быть существенно

уменьшена, если отдельные ЦНП и нейрокомпьютер в целом использовать в

квазистационарном режиме. В целом структура ЦНП должна соответствовать блок-

схеме, приведенной на рисунке 14, где наряду с информационными входами и

входами приращений параметров предусмотрены как минимум три выхода, а

именно выходы приращений Vi(t, yi(t, Zi+1(t. Все эти выходы должны

содержать квантователи и допускать возможность их подсоединения как к

информационным, так и управляющим входам изменения параметров аналогичных

процессоров. В связи с тем, что каждый квантователь содержит определенное

оборудование и вносит некоторую погрешность в процесс функционирования ЦНП,

вопрос о количестве квантователей и о месте их включения в схеме6

процессора является весьма важным.

Рис.14. Структурная схема ЦНП

Учет процесса квантования приводит к более сложной, чем (34–36),

системе разностно-квантованных уравнений, которая в случае наиболее

простого квантования без сохранения остатков и при включении квантователей

на выходах ЦИ имеет следующий вид:

где Ф[(xi]=((xi - Oi) – функция квантования без сохранения остатков; Oi –

остаток квантования.

Для определения закона изменения погрешности квантования необходимо

из уравнения (38) вычесть соответствующее ему разностное уравнение (35) и

найти решение получающегося при этом уравнения погрешности. Решение такого

уравнения (i=yi–yi представляет собой функцию квантования ЦНП. При

построении уравнения погрешности следует учитывать то, что система (37–39),

построенная на основе разностных уравнений (34–36), не является единстве,

не является единственно возможной.

Так, при использовании более точного способа квантования с

сохранением остатков

([(xi + Oi-1] = (xi + Oi-1 + Oi

получим систему разносто-квантованных уравнений, отличную от (37–39):

Далее, учитывая то, что наряду с включением квантователей на выходах

ЦИ возможно их включение на входах (yq, (yr интеграторов, получим новые

системы разностно-квантованных уравнений. В частности, при квантовании без

сохранения остатков и включении квантователей на входах ЦИ будем иметь

а при квантовании с сохранением остатков и включении квантователей на

входах ЦИ получим:

Приведенные системы разностно-квантованных уравнений соответствуют

различным структурным схемам ЦНП. Если учесть, что каждую функцию

квантования реализует отдельный квантователь, причем квантователь без

сохранения остатков проще квантователя с сохранением остатков, то уже на

основании соотношений (37–39), (40), (41), (42) можно сравнить по сложности

воспроизводящие их ЦНП.

Из рассмотрения этих соотношений можно заключить, что структуры ЦНП с

квантователями без сохранения остатков наиболее просты, а из структур с

сохранением остатков наиболее проста та, в которой квантование

осуществляется после суммирования. Следовательно, с точки зрения экономии

оборудования наиболее предпочтительны ЦНП, содержащие квантователи без

регистров остатков. Однако различные структуры процессоров неравноценны в

отношении точности вычислений.

Анализ рассматриваемых разносто-квантованных уравнений, проведенный

Страницы: 1, 2, 3