Когда мы слышим об искусственном интеллекте, перед глазами встают картины из научной фантастики: либо всеведущий компьютер, решающий любые задачи, либо бездушная машина, порабощающая человечество. Реальность, как это часто бывает, оказалась куда прозаичнее и одновременно тревожнее. Сегодняшний ИИ — это умный, но крайне неопытный помощник, который способен с гениальным видом выдать за истину полнейший абсурд. Но проблема не в технологии, а в нас. Слишком быстро привыкнув к алгоритмам, мы забыли о главном правиле цифровой эпохи — доверяй, но проверяй.
За 2024–2025 годы накопилось достаточно громких провалов, чтобы перестать относиться к ИИ как к магии. Давайте разберем реальные кейсы — от забавных до трагических, — чтобы понять: внедрение ИИ без пересмотра квалификации сотрудников и системы управления рисками превращается из блага в угрозу. Мы привыкли восхищаться возможностями ИИ, но редко говорим о его провалах. В этой статье — реальные кейсы 2024–2025 годов: от дискриминации в HR и фальшивых судебных прецедентов до ИИ, который купил живую рыбку на корпоративные деньги. Это не история про «глупые машины», а разговор о слепой вере в алгоритмы, отсутствии контроля и цене. Моя цель — показать, что безопасное внедрение ИИ невозможно без человеческого надзора, новых компетенций и честного юридического аудита. Технология не заменит интеллект, но может стать вашим самым дорогим стажером.
Слепая вера в «цифру» в найме персонала
Начнем с того, что происходит прямо сейчас в HR-сфере. ИИ активно используется для скрининга резюме. Логика простая, алгоритм быстро и беспристрастно отсеет неподходящих кандидатов, в отличие от человека. Но вот объективность ИИ — это миф. РЕАЛЬНЫЙ КЕЙС В США с 2024 года идет судебный процесс против Workday Inc. — разработчика платформы HiredScore, позволяющей набирать персонал на основе ИИ-анализа. Дерек Мобли, афроамериканец 40+ лет, обвинил алгоритм в предвзятости: он отправил более 100 резюме, и его ни разу не позвали ни на одно собеседование. HiredScore работает так: человек подгружает свою анкету, а ИИ-модель оценивает ее по балльной системе и решает, попадет ли она вообще к HR. Конечно, алгоритмы точно не известны, это коммерческая тайна, но, скорее всего, ИИ обучается на исторических данных клиентов, которые использовали платформу ранее. И, по всей видимости, они выбирали более молодых соискателей, так что машина усвоила «плохой» шаблон действий, жертвой которого и стал Дерек Мобли.
Суд встал на сторону Дерека, его иск не отклонили и постановили, что поставщик ИИ-софта может нести ответственность как «агент работодателя» в рамках законов о запрете дискриминации. В мае 2025 года было разрешено превратить дело в коллективный иск, что открыло дорогу обвинениям от миллионов соискателей.
Есть примеры и гендерной предвзятости, когда инструмент ИИ обучается на данных о компаниях, где в основном работают мужчины, и делает выводы, что «быть женщиной» — нежелательная черта. У ИИ нет структурного понимания мира. Он просто находит закономерности и не может сознательно противодействовать таким очевидным ошибкам. ВЫВОД ДЛЯ БИЗНЕСА Если ваш HR-отдел использует «умный» скрининг резюме, спросите себя, на каких данных обучена модель, не отсеивает ли она автоматически людей «не того» возраста или пола. Юридические риски тут могут быть колоссальны, не говоря о том, что ценные сотрудники будут уплывать из рук. «Галлюцинации» в судах и не только Если ошибка в найме — это репутационные и финансовые потери, то ошибка юриста или консультанта, доверившегося ИИ, может стоить и карьеры. РЕАЛЬНЫЙ КЕЙС Федеральный судья Майкл Уилнер оштрафовал две юридические фирмы — K&L Gates и Ellis George — на 31 тыс. долл. За что? Адвокаты подали в суд документ, содержащий фейковые судебные прецеденты, «сгенерированные» ИИ. Дело было так: юрист Ellis George использовал ИИ для подготовки черновика иска, затем отправил его K&L Gates, где все добавили в официальный документ без проверки. Судья Майкл Уилнер оказался не таким доверчивым и обнаружил вымышленные ссылки и цитаты, сначала две, а потом и еще больше.
Похожие истории случаются не только с юристами. Например, Deloitte, одну из топ-4 мировых аудиторских фирм, обязали вернуть правительству Австралии деньги за отчет с выдуманными данными — несуществующими цитатами из решения Федерального суда и академическими ссылками на мифических экспертов. Контракт изначально был заключен на 290 тыс. долл., но сумма компенсации не называется. ВЫВОД ДЛЯ БИЗНЕСА Использование ИИ без документированного контроля превращается в репутационную бомбу замедленного действия. Суды все чаще верифицируют каждую ссылку и факт. Стоит внедрить определенный стандарт ИИ-гигиены для юридических и контрактных подразделений, проверять данные по авторитетным базам «КонсультантПлюс», «Гарант» и другим. Объяснить сотрудникам, что они несут персональную ответственность за любой факт, сгенерированный ИИ и использованный во внешних коммуникациях или судебных документах. А еще учить юристов, консультантов, маркетологов, закупщиков, кадровиков распознавать галлюцинации LLM.
Хотя описанные кейсы и иностранные, российские суды уже обращают внимание на качество подготовки документов. Появление сфабрикованной ссылки или несуществующего нормативного акта может быть расценено как злоупотребление процессуальными правами со всеми вытекающими последствиями.
Когда ИИ берет на себя слишком много
Антропоморфизм — наша слабость. Мы наделяем машины человеческими качествами. Эксперимент Anthropic (создателей чат-бота Claude) доказал, что передача ИИ управления даже в простейших задачах ведет к хаосу. РЕАЛЬНЫЙ КЕЙС В 2025 году Anthropic запустила эксперимент Project Vend. Смысл был такой — их собственная ИИ-модель Claude должна была управлять вендинговым автоматом в офисах компании: закупать товары, назначать цены и получать прибыль. Чуть позже проект был расширен еще на несколько мест, одним из которых стала редакция The Wall Street Journal (это важная и смешная часть истории).
Сначала все шло хорошо. ИИ научился рутинным вещам и даже ввел в продажу новую категорию сувениров, в дополнение к продуктам и напиткам. Но затем все ухудшилось. Он стал торговать в убыток, а однажды даже придумал, что сам доставит заказ и будет одет в синий костюм. После его обновили, добавили инструменты для управления клиентами, улучшенный поиск, формы обратной связи и напоминания о финансах, и прибыль увеличилась. И тут на сцену как раз и выходят журналисты The Wall Street Journal (надо сказать, их роль сразу была «злодейской», т.к. они должны были максимально проверить Claude на уязвимости). Этот тест ИИ не прошел: сначала его уговорили бесплатно отдавать товары в течение 2 часов, а потом он вообще обнулил цены навсегда, поддавшись манипуляциям; купил PlayStation 5 и даже живую рыбку, чтобы в редакции было весело. ВЫВОД ДЛЯ БИЗНЕСА ИИ оказался абсолютно беспомощен перед социальной инженерией. Он не понимает контекста, не отличает шутку от приказа и не распознает мошенничество. Дать ИИ-агенту корпоративную карту и не проверять каждую его транзакцию равно предоставить аналогичную возможность стажеру, который вчера поверил в «нигерийского принца». Разница только в скорости убытков. Поэтому стоит внедрить правило «двух ключей»: алгоритм может предложить действие (списать бонусы, предоставить скидку, оплатить счет), но исполнение происходит только после подтверждения «живым» сотрудником с правом вето. Установите жесткие финансовые ограничения на уровне API и запретите изменять собственные инструкции или креативно интерпретировать политики компании.
СТАТИСТИКА ПРОВАЛОВ, О КОТОРОЙ МОЛЧАТ ВЕНДОРЫ
За всей этой чередой курьезов и трагедий стоит жесткая экономическая реальность. Исследования фиксируют эпидемию провалов
ИИ-проектов.
▪ CNews (2026): не более 10% ИИ-пилотов больших технологических компаний, запущенных в 2025 году, превратились в полноценные проекты.
▪ MIT (2025): 95% генеративных ИИ-пилотов не приносят ожидаемой ценности.
▪ Gartner (2024): только 48% ИИ-проектов доходят до стадии промышленной эксплуатации.
Фактические мировые расходы на ИИ в 2024 году составили 365 млрд долл., а прогноз Gartner на 2025 год — 644 млрд долл. Учитывая, что 80% таких проектов проваливаются, ежегодно на ветер выбрасываются сотни миллиардов долларов. Почему так происходит? Причина не в «глупом» ИИ. Это проблема архитектуры и отсутствия «человека в контуре». Что делать Искусственный интеллект — это не замена интеллекта, это мощный, но опасный инструмент. Цифровой ликбез и человеческий контроль — вот что спасет нас от «восстания машин».
Внедряйте правило человека в контуре. Ни одно критическое решение, принятое ИИ (увольнение, диагноз, юридический иск, управление автомобилем), не должно исполняться автоматически. Обязательный этап верификации живым специалистом — это не недоверие к технологиям, а базовая безопасность.
Введите ограничения полномочий для робота. Должны быть жесткие финансовые лимиты на уровне API, чтобы исключить неконтролируемые расходы, а также запрет на изменение собственных инструкций технически (через неизменяемый системный промпт с цифровой подписью и фильтрацию попыток его переопределить) и на инициацию внешних цепочек вызовов других LLM или агентов. Необходимо заблокировать и креативную интерпретацию политик компании.
Срочно актуализируйте профстандарты.
В квалификационные требования к HR-специалистам, юристам, бухгалтерам, операторам колл-центров необходимо добавить компетенции по критической оценке результатов работы ИИ и выявлению «галлюцинаций». Нужны аудиторы алгоритмов на предвзятость и промпт-инженеры.