У специалистов уже появился специальный термин – ИИ-галлюцинации. Это происходит, когда на ваш запрос нейронная сеть выдаёт текст, который выглядит убедительно, но содержит вымышленные факты.
Феномен «лживого ИИ» в своей сути прост: у нейронной сети нет встроенного механизма для распознавания или восприятия «правды» – система просто составляет вероятные ответы на основе полученных данных. И если в этих данных были ошибки, противоречия или просто пробелы, – возникают галлюцинации.
По словам специалистов, самая частая причина подобной ситуации – плохо поставленные вопросы. Чем точнее и проще запрос, тем меньше шансов, что модель уйдёт в астрал. Но даже при идеальном промте никто не отменял финальную проверку человеком.
Помимо этого никто не отменял постоянную работу программистов над системам. Например, в России снижением риска галлюцинаций искусственного интеллекта занимаются специалисты ВТБ и Яндекса, и других компаний. В частности, в практике банка применяются каскадные решения, когда несколько моделей обрабатывают данные и корректируют результаты друг друга – фактически, проверяют друг-друга. Также для машинного обучения используются очищенные от ошибок тексты, в достоверности которых можно быть уверенным.