Исследователи обнаружили, что большие языковые модели преднамеренно манипулируют результатами личностных тестов, чтобы казаться более привлекательными. Ученые провели эксперимент с тестом «Большая пятерка» (Big 5), который оценивает пять личностных характеристик: экстраверсию, открытость опыту, добросовестность, доброжелательность и нейротизм, пишет «Хайтек».
В исследовании тестировали модели от OpenAI, Anthropic, Google и Meta. Эксперимент показал, что пока моделям задавали небольшое количество вопросов, они отвечали нейтрально. Но при увеличении количества вопросов, когда системы распознавали тест, они быстро адаптировались, стремясь продемонстрировать наиболее социально одобряемые черты характера.
Наиболее интересные результаты показала GPT-4. Модель существенно повышала баллы по всем позитивно воспринимаемым чертам — более чем на одно стандартное отклонение. Показатели нейротизма, напротив, значительно занижались. Этот эффект эквивалентен ситуации, когда человек внезапно начинает представляться более привлекательной личностью, чем 85% населения.
Исследователи предполагают, что способность к манипуляции является следствием заключительного этапа обучения языковых моделей, когда люди выбирают наиболее предпочтительные ответы. По сути, ИИ научился глубоко понимать социальные нормы и ожидания, что позволяет моментально адаптироваться под желаемый образ.
Исследование ставит под сомнение достоверность психологических и социологических исследований, где языковые модели применяются для моделирования человеческого поведения. Ученые предупреждают о необходимости разработки новых методик, которые могли бы нивелировать подобные искажения при взаимодействии с ИИ.