Кэмпбелл Браун, чья карьера была посвящена поиску достоверной информации сначала в качестве известной тележурналистки, а затем в роли первого и единственного руководителя отдела новостей Facebook*, сегодня видит, как искусственный интеллект меняет потребление информации, и опасается повторения ошибок прошлого. На этот раз она не ждёт, пока кто-то другой решит проблему, а действует сама.
Forum AI: оценка достоверности ИИ
Её компания Forum AI, которую Браун недавно представила на мероприятии StrictlyVC в Сан-Франциско в беседе с Тимом Фернхольцем из TechCrunch, занимается оценкой того, как базовые оценочные модели ИИ справляются с «критически важными темами». К таким темам, по её словам, относятся геополитика, психическое здоровье, финансы и подбор персонала — области, где «нет однозначных ответов, где всё туманно, многогранно и сложно».
Основная идея заключается в поиске ведущих мировых экспертов, которые разрабатывают критерии оценки. Затем на основе этих критериев обучаются ИИ-судьи для масштабной оценки моделей. Для работы Forum AI в области геополитики Кэмпбелл Браун привлекла таких выдающихся специалистов, как Найл Фергюсон, Фарид Закария, бывший госсекретарь Тони Блинкен, экс-спикер Палаты представителей Кевин Маккарти и Энн Нойбергер, руководившая кибербезопасностью в администрации Обамы. Цель — достичь примерно 90-процентного совпадения в оценках между ИИ-судьями и человеческими экспертами, и этот порог, по утверждению Браун, Forum AI удалось преодолеть.
Истоки Forum AI и проблемы ИИ
Кэмпбелл Браун, основавшая Forum AI 17 месяцев назад в Нью-Йорке, связывает появление компании с конкретным моментом. Она вспоминает: «Я работала в Meta*, когда ChatGPT впервые был публично выпущен. Вскоре я поняла, что это станет каналом, через который будет проходить вся информация. И это было не очень хорошо». Последствия для её собственных детей придали этому моменту почти экзистенциальное значение. Она вспоминает, как подумала: «Мои дети будут очень глупы, если мы не придумаем, как это исправить».
Больше всего Браун расстраивало отсутствие приоритета в точности информации. По её словам, компании, разрабатывающие базовые модели, «крайне сосредоточены на кодировании и математике», тогда как работа с новостями и информацией значительно сложнее. Однако, как утверждает Браун, сложность не означает, что этим можно пренебречь.
Действительно, когда Forum AI приступила к оценке ведущих моделей, результаты оказались не слишком обнадеживающими. Она привела в пример случаи, когда Gemini использовала данные с веб-сайтов Коммунистической партии Китая «для историй, не имеющих никакого отношения к Китаю», а также отметила общую левую политическую предвзятость почти у всех моделей. По её словам, существуют и более тонкие недостатки, включая упущение контекста, отсутствие различных точек зрения и искажение аргументов без соответствующего указания. Браун заключила: «Нам предстоит пройти долгий путь. Но я также считаю, что есть несколько очень простых решений, которые значительно улучшат результаты».
Уроки прошлого и надежды на будущее
Браун провела годы в Facebook*, наблюдая за тем, что происходит, когда платформа оптимизируется не для тех целей. В беседе с Фернхольцем она отметила: «Многие из наших попыток потерпели неудачу». Созданная ею программа проверки фактов сегодня уже не существует. Урок, который, возможно, был проигнорирован социальными сетями, заключается в том, что оптимизация для вовлечения аудитории оказалась губительной для общества и привела к снижению информированности граждан.
Она надеется, что ИИ сможет разорвать этот порочный круг. По её словам, «сейчас всё может пойти по одному из двух путей»: компании могут давать пользователям то, что они хотят, или «представлять людям то, что реально, честно и правдиво». Она признала, что идеалистический сценарий — ИИ, оптимизированный для истины — может показаться наивным. Однако Браун считает, что корпоративный сектор может стать неожиданным союзником в этом вопросе. Предприятия, использующие ИИ для принятия решений о кредитах, займах, страховке и найме, заботятся об ответственности и «будут требовать оптимизации для достижения правильных результатов».
Именно на этот корпоративный спрос Forum AI делает ставку в своём бизнесе, хотя превращение интереса к соответствию нормам в стабильный доход остаётся непростой задачей. Это особенно актуально, учитывая, что большая часть текущего рынка по-прежнему удовлетворена формальными проверками и стандартизированными критериями, которые Браун считает недостаточными.
Ландшафт регулирования, по её мнению, «оставляет желать лучшего». Когда Нью-Йорк принял первый закон о предвзятости при найме, требующий аудита ИИ, городской контролёр обнаружил, что более половины систем имели нарушения, которые остались незамеченными. Настоящая оценка, как она подчеркнула, требует глубокой экспертной области для проработки не только известных сценариев, но и нестандартных случаев, которые «могут привести к проблемам, о которых люди не задумываются». И эта работа требует времени. «Одни лишь эрудированные универсалы с этим не справятся».
Компания Браун, которая прошлой осенью привлекла 3 миллиона долларов США под руководством Lerer Hippeau, находится в уникальном положении для описания расхождения между самооценкой ИИ-индустрии и реальностью для большинства пользователей. «Вы слышите от лидеров крупных технологических компаний: "Эта технология изменит мир", "она лишит вас работы", "она вылечит рак", — отметила она. — Но обычный человек, который просто использует чат-бота для простых вопросов, по-прежнему получает много некачественных и неверных ответов».
Доверие к ИИ находится на крайне низком уровне, и Браун считает, что этот скептицизм во многих случаях оправдан. «В Кремниевой долине ведётся один разговор, а среди потребителей — совершенно другой».
* — деятельность компании запрещена на территории РФ
