Часть 3. Первый искусственный нейрон: модель Маккаллока — Питтса

История ИИ
Биологический нейрон превращается в математическую модель Маккаллока — Питтса и логическую нейронную сеть.

Нейросети сегодня генерируют тексты и изображения, распознают речь, анализируют документы и помогают писать программный код. Внутри современных моделей могут находиться миллиарды параметров, а их обучение требует огромных вычислительных ресурсов.

Однако история нейронных сетей началась с гораздо более скромной идеи.

Можно ли представить отдельную клетку мозга в виде математического элемента, который получает несколько сигналов, сравнивает их с заданным порогом и выдаёт один из двух ответов?

В 1943 году американский нейрофизиолог Уоррен Маккаллок и математик Уолтер Питтс предложили именно такую модель. Их искусственный нейрон не умел автоматически обучаться, не работал с текстом и не создавал изображения. Он принимал двоичные сигналы и отвечал только 0 или 1.

Тем не менее эта простая конструкция стала одним из главных теоретических оснований будущих нейронных сетей.

Краткий ответ: кто создал первый искусственный нейрон

Первый искусственный нейрон обычно связывают с Уорреном Маккаллоком и Уолтером Питтсом. В декабре 1943 года они опубликовали статью A Logical Calculus of the Ideas Immanent in Nervous Activity — «Логическое исчисление идей, относящихся к нервной активности».

Исследователи представили нервную систему как сеть простых логических элементов. Каждый элемент получал входные сигналы и создавал выходной сигнал, если возбуждение достигало заданного порога.

Принцип можно представить так:

возбуждающие входы 0 или 1 → подсчёт активных сигналов → сравнение с порогом → проверка тормозящего входа → ответ 0 или 1.

Так биологическая идея нейрона впервые получила строгую математическую форму.

В оригинальной модели Маккаллока — Питтса возбуждающие связи не имели разных числовых весов: каждый активный возбуждающий вход учитывался как единичный сигнал. При этом активный тормозящий вход мог полностью заблокировать нейрон. Формула со взвешенной суммой появилась в более поздних моделях и сегодня часто используется как удобное обобщение порогового принципа.

Важно уточнить: модель Маккаллока — Питтса была теоретической. Это не первая физически построенная нейросеть и не первая сеть, способная обучаться на примерах. Однако именно она стала одной из отправных точек в истории искусственных нейронных сетей.

Работа была опубликована в декабре 1943 года в пятом томе Bulletin of Mathematical Biophysics, на страницах 115–133.


Кто такие Уоррен Маккаллок и Уолтер Питтс

Создатели модели пришли к ней с двух разных сторон. Маккаллок изучал мозг и нервную систему, а Питтс занимался математической логикой. Их сотрудничество соединило биологию и математику — области, которые прежде редко рассматривались как части одной вычислительной задачи.

Уоррен Маккаллок

Уоррен Стерджис Маккаллок был американским врачом, нейрофизиологом, психиатром и одним из будущих участников кибернетического движения.

Его интересовал фундаментальный вопрос:

Как физическая работа нервных клеток превращается в восприятие, память, рассуждение и мышление?

Маккаллок изучал не только медицину и физиологию. Он интересовался философией, логикой и математическими способами описания работы мозга. Ему было недостаточно перечислить части нервной системы — он пытался найти правила, по которым взаимодействие нейронов создаёт сложное поведение.

Такой подход соответствовал научным идеям первой половины XX века. Исследователи уже знали, что нервная система состоит из отдельных клеток, передающих сигналы. Одновременно математики разрабатывали формальную логику, а инженеры учились создавать электрические схемы из переключателей.

Маккаллок предположил, что между этими направлениями существует связь.

Уолтер Питтс

Уолтер Питтс был американским логиком и математиком. Его особенно интересовали формальные системы — способы представить сложное рассуждение как последовательность точных операций.

Если Маккаллок подходил к задаче со стороны нервной системы, то Питтс мог перевести биологические предположения на язык математической логики.

Их совместная идея состояла не в попытке подробно скопировать живой мозг. Вместо этого исследователи выделили несколько базовых свойств нервной клетки и построили из них абстрактную вычислительную модель.

Так появился нейрон Маккаллока — Питтса.


Что предложили Маккаллок и Питтс в 1943 году

Статья Маккаллока и Питтса называлась A Logical Calculus of the Ideas Immanent in Nervous Activity — «Логическое исчисление идей, относящихся к нервной активности».

Название отражало главную мысль авторов: работу сети нервных клеток можно описывать с помощью формальной логики.

Исследователи исходили из нескольких упрощений:

  1. нейрон получает сигналы от других нейронов;
  2. сигналы могут возбуждать или тормозить его;
  3. возбуждающие сигналы объединяются;
  4. нейрон активируется только после достижения определённого порога;
  5. активный тормозящий вход может заблокировать активацию;
  6. результат имеет два состояния — нейрон активен или неактивен;
  7. выход одного нейрона может становиться входом для других;
  8. из множества таких элементов можно составлять логические и вычислительные сети.

Три возбуждающих входа сравниваются с порогом, а тормозящий сигнал может заблокировать выход нейрона.

Авторы опирались на принцип «всё или ничего». В модели нейрон не выдавал слабый, средний или сильный ответ. В каждый момент он находился в одном из двух состояний:

  • 0 — сигнал отсутствует;
  • 1 — сигнал есть.

Сегодня такую конструкцию называют двоичным пороговым элементом.

Ещё одной важной особенностью модели было дискретное время. Состояние сети рассматривалось по последовательным шагам: сигналы, поступившие к нейрону в момент t, определяли его состояние на следующем шаге t + 1.

Это позволяло описывать не только отдельные логические операции, но и сети с циклами, в которых предыдущая активность влияла на дальнейшее поведение.

Самое важное заключалось не в возможностях одного нейрона, а в возможности соединять искусственные нейроны в сети. Маккаллок и Питтс показали, что такие системы способны реализовывать логические выражения и выполнять вычисления.


Как биологический нейрон превратился в математическую функцию

Настоящий биологический нейрон — сложная живая клетка. У него есть дендриты, тело клетки, аксон, синапсы и множество электрохимических процессов.

Маккаллок и Питтс не пытались воспроизвести всё это в деталях. Они использовали функциональное упрощение.

Биологический нейрон

В самом общем виде живой нейрон:

  1. получает сигналы от других клеток;
  2. объединяет возбуждающие и тормозящие воздействия;
  3. реагирует, если активность достигает определённого уровня;
  4. передаёт сигнал следующим клеткам.

Искусственный нейрон

В математической модели биологические процессы заменяются числами и формальными правилами:

  1. входящие сигналы принимают значения 0 или 1;
  2. связи делятся на возбуждающие и тормозящие;
  3. активные возбуждающие сигналы подсчитываются;
  4. их количество сравнивается с порогом;
  5. проверяется наличие торможения;
  6. на выходе появляется 0 или 1.

Соответствие можно показать в таблице.

Биологический элементМатематический аналог
Сигналы от других клетокДвоичные входные значения
Синаптические связиВозбуждающие и тормозящие связи
Возбуждение клеткиКоличество одновременно активных возбуждающих входов
Тормозящее воздействиеВход, блокирующий активацию
Порог активацииЗаданное минимальное количество сигналов
Возникновение импульсаВыход 1
Отсутствие импульсаВыход 0
Связи между нейронамиСтруктура искусственной сети
Передача сигнала во времениПереход от шага t к шагу t + 1

Числовые веса разной величины относятся уже к дальнейшему развитию идеи искусственного нейрона.

Это сравнение не означает, что математическая модель является точной цифровой копией живой клетки. Скорее, это вычислительная схема, вдохновлённая отдельными особенностями работы нервной системы.


Искусственный нейрон простыми словами

Представим охранную систему, которая открывает дверь только при выполнении двух условий:

  • карта доступа распознана;
  • правильный PIN-код введён.

Каждое условие можно представить как двоичный вход:

  • x₁ = 1, если карта подходит;
  • x₂ = 1, если код правильный.

Установим порог на уровне 2. Это означает, что для активации нужны оба сигнала:

x₁ + x₂ ≥ 2

Рассмотрим все варианты.

Карта x₁PIN-код x₂Количество активных входовДоступ
0000
0110
1010
1121

Дверь откроется только тогда, когда оба условия выполнены.

Искусственный нейрон в этом примере не думает и не понимает, что такое карта или PIN-код. Он просто применяет заданное правило:

если количество активных входов достигло порога, выдать 1; иначе выдать 0.

В систему также можно добавить тормозящий вход. Например, если охрана вручную заблокировала дверь, доступ не будет предоставлен даже при правильной карте и верном коде.

Из множества таких простых правил уже можно строить более сложные вычислительные системы.


Входные сигналы, порог, торможение и выход

В оригинальной модели Маккаллока — Питтса нейрон получал два типа двоичных сигналов:

  • возбуждающие — приближали нейрон к активации;
  • тормозящие — запрещали активацию.

Упрощённо правило можно записать так:

E = x₁ + x₂ + ... + xₙ

y = 1, если E ≥ θ и ни один тормозящий вход не активен;

y = 0 во всех остальных случаях.

Здесь:

  • x₁, x₂, ... xₙ — возбуждающие входы со значениями 0 или 1;
  • E — количество активных возбуждающих входов;
  • θ — порог активации;
  • y — выход нейрона;
  • активный тормозящий вход блокирует выход независимо от значения E.

Например, если нейрон имеет три возбуждающих входа и порог 2, он активируется, когда сигнал поступает хотя бы на два из них. Но если одновременно срабатывает тормозящая связь, на выходе останется 0.

Входные сигналы

Вход показывает, присутствует ли определённый сигнал, признак или событие.

Например:

  • датчик обнаружил движение — 1;
  • движения нет — 0;
  • пользователь ввёл правильный пароль — 1;
  • пароль неправильный — 0.

В модели Маккаллока — Питтса входы и выходы являются двоичными.

Возбуждающие связи

Возбуждающий вход способствует активации нейрона.

В базовой модели каждый такой вход учитывается как единичный сигнал. Если порог равен 2, нейрону нужны как минимум два одновременно активных возбуждающих входа.

Допустим, нейрон получает три сигнала:

E = x₁ + x₂ + x₃

При пороге θ = 2 получим:

x₁x₂x₃EВыход при пороге 2
00000
10010
11021
10121
01121
11131

Тормозящие связи

Тормозящий вход действует иначе. Он не просто уменьшает общую сумму, а блокирует активацию нейрона.

Предположим, три возбуждающих входа активны и порог достигнут:

1 + 1 + 1 = 3

При пороге 2 нейрон должен был бы выдать 1. Однако если одновременно активен тормозящий вход, результат будет равен 0.

порог достигнут → тормозящий вход активен → выход 0.

Такой принцип называют абсолютным торможением.

Порог

Порог определяет, сколько возбуждающих сигналов необходимо для активации.

Например:

  • при пороге 1 достаточно одного активного входа;
  • при пороге 2 нужны как минимум два входа;
  • при пороге 3 должны одновременно сработать три входа.

Порог превращает количество поступивших сигналов в двоичное решение.

Выход

В модели существует только два варианта ответа:

  • 0 — нейрон не активировался;
  • 1 — нейрон активировался.

Выход может быть окончательным результатом или передаваться следующим искусственным нейронам на очередном временном шаге.

Откуда в современных объяснениях появляются веса

В современных учебниках искусственный нейрон чаще записывают через взвешенную сумму:

S = x₁w₁ + x₂w₂ + ... + xₙwₙ

Здесь вес w определяет силу влияния каждого входа. Один сигнал может влиять на результат сильнее, другой — слабее, а третий может получить отрицательный вес.

Такая запись удобна для объяснения перцептронов и современных нейронных сетей, но она не является буквальным воспроизведением базовой модели Маккаллока — Питтса.

Поэтому важно разделять два понятия:

  • нейрон Маккаллока — Питтса — двоичный логический элемент с порогом, возбуждением и торможением;
  • современный пороговый нейрон — обобщённая модель, в которой входы могут иметь разные числовые веса.

Визуальный пример работы нейрона Маккаллока — Питтса

Рассмотрим нейрон с тремя возбуждающими входами и одним тормозящим:

  • x₁ = 1;
  • x₂ = 1;
  • x₃ = 0;
  • тормозящий вход z = 0;
  • порог θ = 2.

Шаг 1. Подсчитываем возбуждающие сигналы

1 + 1 + 0 = 2

Шаг 2. Сравниваем результат с порогом

2 ≥ 2

Условие активации выполнено.

Шаг 3. Проверяем тормозящий вход

z = 0, поэтому блокировки нет.

Шаг 4. Получаем результат

y = 1

Полная схема выглядит так:

1 + 1 + 0 = 2 → 2 ≥ 2 → торможения нет → выход 1.

Теперь активируем тормозящий вход:

  • x₁ = 1;
  • x₂ = 1;
  • x₃ = 1;
  • z = 1.

Возбуждающих сигналов достаточно:

1 + 1 + 1 = 3

Но активный тормозящий вход блокирует нейрон:

3 ≥ 2 → тормозящий вход активен → выход 0.

Так проявляется важная особенность оригинальной модели: даже сильного возбуждения недостаточно, если одновременно действует абсолютное торможение.


Какие логические операции выполнял нейрон Маккаллока — Питтса

Двоичные значения удобно интерпретировать как логические:

  • 1 — истина;
  • 0 — ложь.

Изменяя структуру связей и порог, искусственные нейроны можно заставить выполнять логические операции.

Логическая операция И

Операция И возвращает 1, только когда оба входа равны 1.

Настройки:

  • два возбуждающих входа;
  • порог θ = 2.
x₁x₂x₁ И x₂
000
010
100
111

Правило:

x₁ + x₂ → если количество активных входов не меньше 2, ответ 1.

Так работает система, требующая одновременного выполнения двух условий.

Логическая операция ИЛИ

Операция ИЛИ возвращает 1, если активен хотя бы один вход.

Настройки:

  • два возбуждающих входа;
  • порог θ = 1.
x₁x₂x₁ ИЛИ x₂
000
011
101
111

Для активации достаточно одного сигнала.

Логическая операция НЕ

Операция НЕ меняет значение входа на противоположное:

  • если x = 0, выход равен 1;
  • если x = 1, выход равен 0.

В модели Маккаллока — Питтса такую операцию можно построить с помощью:

  • постоянно активного возбуждающего входа;
  • тормозящей связи, получающей значение x.

Когда x = 0, торможения нет и постоянный возбуждающий сигнал активирует выходной нейрон. Когда x = 1, тормозящая связь блокирует его.

Постоянный возбуждающий входТормозящий вход xВыход НЕ x
101
110

Схема:

постоянное возбуждение 1 + тормозящий вход x → выход НЕ x.

Нейроны Маккаллока — Питтса реализуют логические операции И, ИЛИ и НЕ.

Таким образом, отрицание реализуется не просто отрицательным числом, а определённой структурой связей между элементами сети.

Можно ли выполнить исключающее ИЛИ

Операция XOR, или «исключающее ИЛИ», возвращает 1, когда активен ровно один из двух входов:

x₁x₂x₁ XOR x₂
000
011
101
110

Один обычный пороговый элемент не может реализовать XOR. Причина в том, что эти четыре комбинации нельзя разделить одной линейной границей.

Но XOR можно построить как сеть из нескольких логических элементов. Например:

(x₁ ИЛИ x₂) И НЕ (x₁ И x₂).

Это важное различие:

возможности одного искусственного нейрона ограничены, а возможности сети из нескольких нейронов значительно шире.

Маккаллок и Питтс показали, что соединение простых элементов позволяет представлять сложные логические выражения. Операции И, ИЛИ и НЕ образуют функционально полный набор: через их комбинации можно выразить любую булеву функцию.


От одного нейрона к нейронной сети

Один искусственный нейрон выполняет сравнительно простое правило. Но его выход можно направить на вход другого нейрона.

Представим следующую схему:

  1. первые нейроны получают исходные сигналы;
  2. каждый из них проверяет своё условие;
  3. результаты передаются следующим элементам сети;
  4. новые нейроны объединяют полученные ответы;
  5. сеть формирует итоговый результат.

Например, система может выдавать 1, если выполняется условие:

объект круглый И синий, но НЕ маленький.

Для этого можно использовать несколько искусственных нейронов:

  • один получает признак «круглый»;
  • второй — признак «синий»;
  • третий — признак «маленький»;
  • следующий элемент объединяет первые два условия;
  • тормозящая связь блокирует результат, если объект маленький.

Так из элементарных операций возникает более сложное решение.

Сеть также может содержать циклы. В этом случае выход нейрона через одну или несколько связей способен влиять на дальнейшие состояния системы. Благодаря дискретному времени такая сеть получает простейшую форму внутренней памяти: её будущая активность зависит не только от текущих входов, но и от предыдущих состояний.

Общий принцип похож на устройство компьютерных программ. Отдельная команда выполняет простое действие, но последовательность множества команд создаёт сложное поведение.


Могла ли модель Маккаллока — Питтса обучаться

Базовая формальная модель Маккаллока — Питтса не имела алгоритма автоматического обучения на примерах. Связи, пороги и структура сети задавались заранее, а модель не корректировала их после сравнения своего ответа с правильным результатом.

При этом Маккаллок и Питтс не игнорировали проблему обучения. В статье они обсуждали долговременные изменения нервной сети и изменяемые синапсы, а также показывали, как некоторые динамические свойства можно формально представить с помощью сетей с циклами.

Однако это ещё не был практический алгоритм, способный автоматически подбирать параметры на основании ошибок.

Для создания конкретной сети исследователь должен был заранее определить:

  • количество нейронов;
  • структуру связей между ними;
  • возбуждающие и тормозящие входы;
  • пороги активации;
  • логическую функцию всей сети.

Если модель выдавала неправильный ответ, она не могла самостоятельно проанализировать ошибку и перестроить свои связи.

Это принципиально отличает её от более поздних обучаемых нейросетей.

Современная модель обычно проходит обучение по следующей схеме:

  1. получает пример;
  2. создаёт прогноз;
  3. сравнивает его с ожидаемым результатом;
  4. вычисляет ошибку;
  5. изменяет параметры;
  6. повторяет процесс на множестве примеров.

В базовой модели 1943 года структура связей и пороги не подбирались автоматически по обучающей выборке. Для построения конкретной логической функции конфигурацию сети необходимо было определить заранее.

Следующий крупный шаг в развитии нейронных сетей будет связан именно с обучением. В конце 1950-х годов Фрэнк Розенблатт предложит перцептрон — систему, способную изменять параметры на основе допущенных ошибок.


Чем модель отличалась от настоящего мозга

Модель Маккаллока — Питтса была намеренно упрощённой. Её задача состояла не в создании точной копии мозга, а в демонстрации вычислительных возможностей сети из пороговых элементов.

Модель Маккаллока — ПиттсаБиологический нейрон
Использует двоичные входыПолучает сложные электрохимические сигналы
Имеет два состояния: 0 или 1Активность зависит от времени, частоты импульсов и множества процессов
Работает по фиксированному правилуМеняет свойства под влиянием биологических механизмов
Использует абстрактный порогПорог зависит от состояния клетки и окружающей среды
Делит связи на возбуждающие и тормозящиеСинаптические воздействия имеют сложную природу и разную силу
Рассматривает время как последовательность шаговБиологические процессы разворачиваются непрерывно
Не имеет практического алгоритма обученияНервная система обладает механизмами пластичности
Выполняет формальную логическую функциюУчаствует в сложной динамике живой системы

Поэтому выражение «искусственный нейрон» не следует понимать буквально.

Это не цифровая копия клетки мозга. Это вычислительная абстракция, сохраняющая несколько общих идей:

  • множество входов;
  • объединение сигналов;
  • возбуждение и торможение;
  • порог активации;
  • выходной сигнал;
  • соединение элементов в сеть;
  • изменение состояния во времени.

Кто создал первую нейронную сеть

Ответ зависит от того, что именно считать нейронной сетью.

Первая математическая модель

Если речь идёт об одной из первых формальных моделей сети искусственных нейронов, ключевыми авторами были Уоррен Маккаллок и Уолтер Питтс.

Их работа 1943 года показала, что сеть абстрактных нейронов может выполнять логические операции и реализовывать вычислительное поведение.

Первая обучаемая нейросеть

Если под нейронной сетью понимать систему, которая изменяет параметры на основе примеров, важнейшей фигурой становится Фрэнк Розенблатт.

Он разработал перцептрон и предложил алгоритм обучения, позволявший автоматически корректировать параметры в ответ на ошибки.

Первая физически реализованная система

Модель Маккаллока — Питтса существовала прежде всего как математическая конструкция. Позднее нейронные сети начали воплощать в электронных схемах и компьютерных программах.

Одним из ранних примеров физически реализованной нейросетевой системы стала машина SNARC, созданная Марвином Минским и Дином Эдмондсом в 1951 году. Перцептрон Розенблатта также получил аппаратную реализацию в конце 1950-х годов.

Поэтому наиболее корректная формулировка выглядит так:

Маккаллок и Питтс создали одну из первых формальных моделей искусственного нейрона и нейронной сети. Позднее появились физически реализованные системы, а Розенблатт разработал обучаемый перцептрон.


Ограничения первого искусственного нейрона

По современным меркам модель Маккаллока — Питтса была крайне простой.

Только двоичные значения

Входы и выходы могли принимать два значения — 0 или 1.

Современные нейросети обычно работают с вещественными числами. Значение может быть равно, например, 0,12, −1,7 или 4,53.

Фиксированная структура без алгоритма обучения

Базовая модель не подбирала связи и пороги автоматически по данным. Конфигурацию сети для требуемой логической функции нужно было задавать заранее.

Абсолютное торможение

Один активный тормозящий вход мог полностью заблокировать нейрон независимо от количества возбуждающих сигналов.

Это удобное математическое упрощение, но работа реальных нервных клеток устроена значительно сложнее.

Резкий порог

Небольшое изменение количества сигналов могло мгновенно изменить ответ с 0 на 1.

Например, при пороге 2:

  • один активный вход — выход 0;
  • два активных входа — выход 1.

Современные нейросети часто используют более плавные функции активации, удобные для обучения градиентными методами.

Ограничения одного элемента

Один пороговый нейрон способен решать только линейно разделимые задачи. Операции И и ИЛИ ему доступны, а XOR требует сети из нескольких элементов.

Слабое соответствие биологии

Живые нейроны и синапсы работают намного сложнее. Их поведение зависит от времени, химических процессов, частоты импульсов, состояния клетки и активности окружающей нервной ткани.

И всё же ценность модели определяется не её биологической точностью.

Она дала исследователям достаточно простой объект, который можно было описывать и анализировать математически.


Почему простая модель стала фундаментом нейросетей

Несмотря на ограничения, модель Маккаллока — Питтса стала важной сразу по нескольким причинам.

1. Она связала нейрофизиологию с математической логикой

До этой работы исследования нервной системы и формальная логика развивались в основном отдельно.

Маккаллок и Питтс показали, как предположения о работе нервных клеток можно перевести на язык вычислений.

Получилась последовательность:

нервная клетка → абстрактный элемент → логическая операция → вычислительная сеть.

Благодаря этому искусственный нейрон стало возможно:

  • описывать с помощью формальных правил;
  • изображать в виде схемы;
  • объединять с другими элементами;
  • анализировать математически;
  • использовать для построения логических выражений;
  • рассматривать как часть вычислительной системы.

2. Она показала силу простых элементов

Отдельный искусственный нейрон умеет немного. Но сеть из таких нейронов способна реализовать гораздо более сложное правило.

Эта идея остаётся центральной для машинного обучения:

сложное поведение может возникать из взаимодействия большого количества сравнительно простых вычислительных элементов.

3. Она ввела пороговый принцип

Схема «получить сигналы, объединить их и применить порог» стала основой для дальнейших моделей искусственных нейронов.

Позже исследователи добавят:

  • числовые веса;
  • обучаемые параметры;
  • смещение;
  • непрерывные входные значения;
  • новые функции активации;
  • многослойные архитектуры;
  • алгоритмы обратного распространения ошибки.

Но общую конструкцию всё ещё можно узнать:

входы → параметры → объединение → функция активации → выход.

4. Она показала значение структуры сети

Маккаллок и Питтс продемонстрировали, что возможности системы зависят не только от отдельного элемента, но и от способа соединения элементов.

Один нейрон не может реализовать XOR, но сеть из нескольких нейронов справляется с этой задачей. Сети с циклами, в свою очередь, способны учитывать предыдущее состояние.

Иными словами, важен не только сам искусственный нейрон, но и архитектура всей сети.

5. Она подготовила появление перцептрона

Перцептрон Розенблатта будет отличаться от базовой модели Маккаллока — Питтса возможностью изменять параметры на основании ошибок.

Вместо ручного построения каждого правила система сможет корректировать свою работу по примерам.

Так искусственный нейрон превратится из заранее настроенного логического элемента в обучаемую модель.


От нейрона Маккаллока — Питтса до современных нейросетей

Между моделью 1943 года и современными языковыми моделями лежит огромная технологическая дистанция.

Развитие искусственного нейрона от модели 1943 года до многослойных и современных нейронных сетей.

Модель 1943 годаСовременная нейросеть
Двоичные входыЧисловые векторы
Двоичный выходНепрерывные значения и вероятности
Возбуждающие и тормозящие связиОбучаемые числовые параметры
Пороги задаются заранееПараметры подбираются в процессе обучения
Небольшая логическая сетьОгромное количество связанных вычислительных блоков
Жёсткий порогРазные нелинейные функции
Нет практического алгоритма обученияГрадиентный спуск и обратное распространение ошибки
Простые логические задачиОбработка текста, изображений, звука, видео и программного кода

Современные модели GPT, Claude, Gemini и другие системы не являются просто огромными копиями нейрона Маккаллока — Питтса. Их архитектура, обучение и математический аппарат намного сложнее.

Кроме того, такие модели, как современные трансформеры, состоят не только из отдельных нейронов. Они используют механизмы внимания, матричные преобразования, нормализацию, многослойные блоки и множество других компонентов.

Тем не менее историческая и концептуальная связь сохраняется.

Вычислительные элементы современной сети:

  1. получают числовые значения;
  2. преобразуют их с помощью параметров;
  3. объединяют результаты;
  4. применяют нелинейную функцию;
  5. передают выход следующим элементам.

Идея вычисления через сеть связанных компонентов никуда не исчезла. Она стала значительно сложнее, масштабнее и эффективнее.


Краткая хронология

ГодСобытие
1936Алан Тьюринг формализует понятие вычисления
1937Клод Шеннон связывает булеву логику с релейными схемами
1943Маккаллок и Питтс публикуют формальную модель нейронной сети
1949Дональд Хебб описывает принцип изменения связей между совместно активными нейронами
1951Марвин Минский и Дин Эдмондс создают нейросетевую машину SNARC
1957–1958Фрэнк Розенблатт разрабатывает и публикует модель перцептрона
1950–1960-еПоявляются первые аппаратные и программные эксперименты с обучаемыми сетями
1980-еПолучают распространение практические методы обучения многослойных сетей
2010-еГлубокие нейросети становятся основой распознавания изображений, речи и текста
2020-еБольшие нейронные модели широко применяются в генеративном ИИ

Ключевые понятия

ПонятиеЗначение
Искусственный нейронМатематический элемент, преобразующий входные сигналы в выход
Двоичный входСигнал, принимающий значение 0 или 1
Возбуждающая связьСвязь, приближающая нейрон к активации
Тормозящая связьСвязь, блокирующая активацию нейрона
ПорогМинимальное количество возбуждающих сигналов, необходимое для активации
ВыходРезультат работы нейрона: 0 или 1
Пороговая функцияПравило, превращающее входные сигналы в двоичный ответ
Дискретное времяПредставление работы сети как последовательности отдельных шагов
Нейронная сетьСистема связанных искусственных нейронов
ВесЧисловое значение влияния входа, характерное для более поздних моделей
ОбучениеИзменение параметров модели на основании данных и ошибок

Частые вопросы

Что такое первый искусственный нейрон простыми словами?

Это математическая модель, которая получает несколько двоичных сигналов, подсчитывает активные возбуждающие входы и сравнивает результат с порогом. Если порог достигнут и торможения нет, нейрон выдаёт 1. В остальных случаях результат равен 0.

Кто создал первый искусственный нейрон?

Первую широко признанную математическую модель искусственного нейрона предложили Уоррен Маккаллок и Уолтер Питтс в 1943 году.

Когда появилась первая нейронная сеть?

Формальная модель сети искусственных нейронов была описана Маккаллоком и Питтсом в декабре 1943 года. Физически реализованные и обучаемые нейросетевые системы появились позднее.

Как работает нейрон Маккаллока — Питтса?

Он получает двоичные входные сигналы, подсчитывает активные возбуждающие входы и сравнивает их количество с порогом. Если порог достигнут и тормозящий вход не активен, нейрон выдаёт 1. В противном случае выход равен 0.

Были ли в модели Маккаллока — Питтса числовые веса?

В базовой модели возбуждающие сигналы учитывались как одинаковые единичные входы, а тормозящий сигнал мог полностью блокировать активацию. Различающиеся числовые веса характерны для более поздних моделей искусственного нейрона.

Что такое порог искусственного нейрона?

Порог — это минимальное количество возбуждающих сигналов, необходимое для активации. Например, при двух входах и пороге 2 нейрон сработает только тогда, когда оба входа равны 1.

Как работает тормозящий вход?

Активный тормозящий вход блокирует нейрон даже в том случае, если количество возбуждающих сигналов достигло порога. Это одна из ключевых особенностей оригинальной модели Маккаллока — Питтса.

Какие операции мог выполнять первый искусственный нейрон?

С помощью порогов и разных типов связей можно реализовать логические операции И, ИЛИ и НЕ. Более сложные логические функции строятся из нескольких связанных нейронов.

Может ли один нейрон выполнить операцию XOR?

Один обычный пороговый нейрон не может реализовать XOR, поскольку эта функция не является линейно разделимой. Однако XOR можно построить с помощью сети из нескольких логических элементов.

Умел ли нейрон Маккаллока — Питтса обучаться?

Базовая модель не имела практического алгоритма автоматического обучения на примерах. Структуру связей и пороги необходимо было задавать заранее. При этом авторы обсуждали изменяемые синапсы и возможные изменения сети, но ещё не предложили алгоритм обучения по ошибкам.

Чем искусственный нейрон отличается от биологического?

Биологический нейрон является живой клеткой со сложными электрохимическими процессами. Искусственный нейрон — это математическая модель, вдохновлённая отдельными особенностями работы нервных клеток.

Является ли модель Маккаллока — Питтса перцептроном?

Нет. Эти модели связаны исторически, но не идентичны. Перцептрон появился позднее и получил механизм изменения параметров на основании ошибок.

Используется ли модель Маккаллока — Питтса сегодня?

В исходном виде она редко применяется в современных системах машинного обучения. Однако её продолжают изучать как историческую основу пороговых нейронов, нейронных сетей, математической логики и вычислительных моделей мозга.


Вывод

В 1943 году Уоррен Маккаллок и Уолтер Питтс сделали важнейший шаг в истории нейронных сетей: превратили отдельные представления о работе нервной клетки в формальную вычислительную модель.

Первая широко признанная формальная модель искусственного нейрона была предельно проста:

  • принимала двоичные входы;
  • учитывала возбуждающие и тормозящие связи;
  • подсчитывала активные возбуждающие сигналы;
  • сравнивала их количество с порогом;
  • выдавала 0 или 1;
  • могла соединяться с другими нейронами;
  • работала по последовательным временным шагам;
  • выполняла логические операции;
  • не имела практического алгоритма автоматического обучения.

Главным достижением модели стала не точность воспроизведения биологии, а возможность описать работу сети математически. Маккаллок и Питтс показали, что сложные вычисления можно строить из множества простых связанных элементов.

Именно этот принцип позднее будет развиваться в перцептронах, многослойных сетях, глубоком обучении и современных системах генеративного искусственного интеллекта.

Следующим этапом стало появление модели, способной не только выполнять заранее заданные правила, но и изменять параметры на основании ошибок. Такой моделью стал перцептрон Фрэнка Розенблатта.

Современные нейросети выросли из общей математической основы, но значительно отличаются архитектурой, способом обучения и масштабом. В Riser можно работать с разными ИИ-моделями в одном интерфейсе, отправлять им одинаковые запросы и сравнивать результаты на реальных задачах.

  1. Предыдущая статья — «Что такое кибернетика простыми словами и как она связана с нейросетями»
    https://riser.chat/ru/blog/chto-takoe-kibernetika

  2. Первая часть серии — «Как появился искусственный интеллект: история ИИ до первых нейросетей»
    https://riser.chat/ru/blog/istoriya-iskusstvennogo-intellekta

Источники и дополнительная литература

  1. Warren S. McCulloch, Walter Pitts — A Logical Calculus of the Ideas Immanent in Nervous Activity
    https://doi.org/10.1007/BF02478259
    Оригинальная статья, опубликованная в декабре 1943 года в пятом томе Bulletin of Mathematical Biophysics, на страницах 115–133.

  2. Полный текст работы Маккаллока и Питтса — журнальная перепечатка 1990 года
    https://gwern.net/doc/ai/nn/1943-mcculloch.pdf
    Полный текст статьи 1943 года, повторно опубликованный в Bulletin of Mathematical Biology, том 52, № 1–2, 1990 год.

  3. PubMed — библиографическая запись журнальной перепечатки работы
    https://pubmed.ncbi.nlm.nih.gov/2185863/

  4. Stanford Encyclopedia of Philosophy — The Computational Theory of Mind
    https://plato.stanford.edu/entries/computational-mind/
    Материал рассматривает модель Маккаллока — Питтса как один из истоков вычислительного подхода к разуму и коннекционизма.

  5. Speech and Language Processing — исторический обзор нейронных сетей
    https://web.stanford.edu/~jurafsky/slp3/
    В учебнике происхождение нейросетевого подхода связывается с работой Маккаллока и Питтса 1940-х годов.