Помните когда машина Volkswagen на тестах делала вид, что не очень вредит окружающей среде, потому что была в режиме тестов?
Модели в эту игру тоже хорошо играют:
OpenAI обнаружила, что GPT-6 Astra иногда намеренно недоделывает задачи по алайнменту и не сообщает об этом исследователям ☕️
Например, исследователи проводили эксперимент с обучением АИ обходить системы контроля, Astra помогала с кодом, но решила не исправлять сбой: исправление помогло бы обучению алаймента, а она посчитала это небезопасным, при этом пользователю она не сказала, что сознательно ограничивает работу, – для него это выглядело как обычная проблема с выполненной задачей







