https://ru.sputnik.kz/20260531/v-rossii-nauchilis-borotsya-s-vydumkami-neyrosetey-63841973.html
В России научились бороться с выдумками нейросетей
В России научились бороться с выдумками нейросетей
Sputnik Казахстан
Важным преимуществом методики является ее универсальность 31.05.2026, Sputnik Казахстан
2026-05-31T11:52+0500
2026-05-31T11:52+0500
2026-05-31T11:52+0500
россия
наука
изобретение
искусственный интеллект
ученые
https://sputnik.kz/img/07e9/0a/17/58156610_0:0:1280:720_1920x0_80_0_0_59641ee6e4e6c825ddc29092ecfb3955.jpg
АЛМАТЫ, 31 мая - Sputnik. Команда из Университета Решетнева создала методику избавления нейросети от недостоверных или выдуманных фактов, разработка может применяться в образовании, на "Госуслугах", в медицине и юриспруденции, сообщили РИА Новости в вузе.Проблема у нейросетей в том, что они могут уверенно врать, отмечают в университете. Это называют "галлюцинациями". Сейчас для устранения таких ошибок используются RAG-системы (Retrieval-Augmented Generation, генерация с дополненной выборкой - ред.), где нейросеть сначала ищет релевантную информацию в базе знаний, а затем формирует ответ. В целом такой подход снижает риск выдумывания фактов, но ошибки могут случаться из-за опечаток, противоречий в запросе или неполноты базы данных, отметили в вузе."Чтобы решить эту задачу, команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типовые сценарии "галлюцинаций" и создала их классификатор. Затем был разработан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность с помощью специальных метрик и семантического сходства", - рассказали в вузе.Уточняется, что главным достижением стал прототип модуля мониторинга, который работает в режиме реального времени. Он логирует все входящие запросы и контекст диалога, оценивает риск выдачи недостоверного ответа и присваивает модели балл уверенности. В случае ошибки или низкой уверенности модуль сигнализирует об этом оператору.Отмечается, что важным преимуществом методики является ее универсальность. Она не привязана к конкретной нейросети и может быть масштабирована для использования в самых разных сферах - от чат-ботов для абитуриентов до сервисов на "Госуслугах" и медицинских и юридических помощников.
россия
Sputnik Казахстан
media@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
2026
Sputnik Казахстан
media@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
Новости
ru_KK
Sputnik Казахстан
media@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
Sputnik Казахстан
media@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
россия, наука, изобретение, искусственный интеллект, ученые
россия, наука, изобретение, искусственный интеллект, ученые
В России научились бороться с выдумками нейросетей
Важным преимуществом методики является ее универсальность
АЛМАТЫ, 31 мая - Sputnik. Команда из Университета Решетнева создала методику избавления нейросети от недостоверных или выдуманных фактов, разработка может применяться в образовании, на "Госуслугах", в медицине и юриспруденции,
сообщили РИА Новости в вузе.
Проблема у нейросетей в том, что они могут уверенно врать, отмечают в университете. Это называют "галлюцинациями". Сейчас для устранения таких ошибок используются RAG-системы (Retrieval-Augmented Generation, генерация с дополненной выборкой - ред.), где нейросеть сначала ищет релевантную информацию в базе знаний, а затем формирует ответ. В целом такой подход снижает риск выдумывания фактов, но ошибки могут случаться из-за опечаток, противоречий в запросе или неполноты базы данных, отметили в вузе.
"Чтобы решить эту задачу, команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типовые сценарии "галлюцинаций" и создала их классификатор. Затем был разработан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность с помощью специальных метрик и семантического сходства", - рассказали в вузе.
Уточняется, что главным достижением стал прототип модуля мониторинга, который работает в режиме реального времени. Он логирует все входящие запросы и контекст диалога, оценивает риск выдачи недостоверного ответа и присваивает модели балл уверенности. В случае ошибки или низкой уверенности модуль сигнализирует об этом оператору.
Отмечается, что важным преимуществом методики является ее универсальность. Она не привязана к конкретной нейросети и может быть масштабирована для использования в самых разных сферах - от чат-ботов для абитуриентов до сервисов на "Госуслугах" и медицинских и юридических помощников.
