Выводы основаны на исследовании 500 тысяч нейросетей с относительно несложным устройством. Эти модели обучали распознавать изображения и тексты, затем сравнивали полученные результаты и их работу.

Даже полное совпадение внешних условий не устраняло резких различий. Достаточно было при начальной настройке изменить единственный бит одной переменной, чтобы обучение существенно изменилось. По силе воздействия такая поправка не уступала внешним факторам.

Обнаруженную зависимость математики описали формулами, используя закономерности фракталов — структур с самоповторением. Из расчетов следует, что добиться одновременно быстрого обучения и хорошо предсказуемого поведения модели невозможно. Авторы работы назвали это фундаментальным ограничением разработки ИИ.

Профессор Сиднейского университета Гун Пулинь пояснил, что прежде объяснение искали во внешних случайностях. Например, расхождения связывали с последовательностью подачи данных или с особенностями вычислительной техники, порождающими вариации расчетов. Новое исследование показало, что основа проблемы лежит в математике самих нейросетей, а не в оборудовании или учебных данных.

Ученые отметили, что непредсказуемые изменения возникают также при переобучении. Это мешает заново получать модели с результатами прежних исследований и разработок и серьезно затрудняет улучшение уже созданных нейросетей.

Источник: ТАСС