Содержание
В 2019 году в Великобритании чат-бот принял симптомы сердечного приступа у женщины за паническую атаку, при тех же симптомах мужчине с реальной панической атакой он рекомендовал срочную госпитализацию. Этот случай наглядно показывает, как уверенный, но обученный на искаженных данных алгоритм может допустить критическую ошибку и поставить под угрозу здоровье человека. Специально для «МВ» о рисках бездумного использования ИИ в медицине рассказывает Федор Жилкин, CEO Mymeet.ai – российского AI-ассистента, который повышает эффективность онлайн-встреч и звонков.
1.Как ИИ используется в медицине2.Не заменяет врача3.Психологи и терапевты: где особенно важен баланс4.Прозрачность, ответственность и ИИ5.Человек — финальное звено
ИИ все больше проникает во все сферы жизни — от бытовых вопросов до образования и здравоохранения. В медицине, например, он помогает расшифровывать снимки МРТ и КТ, участвует в подборе лекарств и даже ведет первичный прием через чат-ботов. Но если технология используется бездумно — без врачебного контроля и понимания ограничений — она может привести к фатальным последствиям, особенно в такой чувствительной сфере, как здоровье человека. Врач может допустить ошибку, но ИИ может сделать это с хладнокровной уверенностью, и никто не остановит его, если человек не включен в процесс.
Как ИИ используется в медицине
В первую очередь искусственный интеллект становится важным помощником в анализе медицинских документов. Особенно хорошо он проявил себя в работе с медизображениями — МРТ, КТ и рентгеном. Алгоритмы буквально «нащупывают» то, что человеческий глаз может упустить — подозрительные тени, едва заметные изменения, первые признаки болезни. Это ускоряет диагностику и снижает риск ошибки, но только если результат не принимается за истину в последней инстанции.
Одним из наиболее ощутимых эффектов внедрения ИИ в медицине стало снижение объема «бумажной» нагрузки на врачей. До сих пор значительная часть времени медработников уходит на ручную фиксацию информации: необходимо записывать жалобы пациента, формулировать и сохранять предположения, не упустить назначения и рекомендации. «Умные» системы могут подхватить эту часть работы — автоматически фиксируют, что именно было сказано, где прозвучала жалоба, где врач выдвинул гипотезу, а где дал конкретный совет. В итоге доктор остается в диалоге, не теряет нить и может действительно слышать, а не только слушать. И пациенты это чувствуют.
Однако на практике у организаторов здравоохранения нередко возникает соблазн передать часть ответственности ИИ, который «знает больше», «видит дальше», «ошибается реже». Но без врачебного контроля даже идеальный алгоритм может привести к катастрофе — например, если диагноз будет поставлен по ошибке, а пациент даже не узнает, что его поставил не врач.
Другая проблема: самодиагностика — все больше людей, вместо обращения к врачу, задают вопросы о здоровье популярным ИИ-моделям. Эти сервисы не имеют доступа к клинической картине, не несут ответственности и не могут уловить нюансы, которые замечает специалист. При этом они отвечают уверенно, а значит, внушительно. В результате — неверные выводы, запоздалые обращения к врачу, необратимые последствия.
Не заменяет врача
ИИ можно сравнить с внимательным, но безэмоциональным врачом-интерном. Он отлично считает, сортирует, запоминает. Но он не видит человека, а видит только данные, не улавливает тревогу, не чувствует интонации, не учитывает нюансы общения. Если бездумно передавать ему право на финальное решение, то медицина превращается в сервис статистической корреляции.
Кроме того, качество исходных данных критично. Ошибочные или неполные истории болезни, разрозненные записи, несовпадения — все это может сделать выводы ИИ ошибочными. Так, согласно исследованию, опубликованному в журнале Frontiers in Computer Science, ИИ-модели, обученные на электронных медицинских записях, могут демонстрировать различные формы предвзятости. Например, если в датасете мало пожилых людей или пациентов с хроническими заболеваниями, модель не будет «знать», как правильно диагностировать такие случаи. Это приводит к ошибочным диагнозам и неравному доступу к медицинской помощи.
Предвзятость в алгоритмах, недостаточная обученность, отсутствие клинической верификации и тяга пользователей к быстрым ответам создают идеальную бурю. Если не ставить человека — врача — в центр этой системы, мы рискуем не только ошибкой, но и доверием. А в медицине, как известно, доверие — это половина лечения.
Психологи и терапевты: где особенно важен баланс
Для онлайн-психологов ИИ может быть техническим помощником — транскрибировать сессии, фиксировать темы. Но стоит потерять бдительность и алгоритм начинает помогать интерпретировать чувства, выстраивать логические цепочки, предлагать диагнозы. Это не помощь — это подмена. А в психотерапии особенно важно доверие и присутствие. Когда оно подрывается, страдает не только эффективность, но и суть работы.
Вместе с этим сервисы ИИ для онлайн-психологов стараются решить эту проблему с помощью системы предупреждений и ограничений: от дисклеймеров «Отчет содержит ключевые моменты консультации и подготовлен искусственным интеллектом. Не является клиническим диагнозом» до уменьшения функционала, чтобы ИИ занимался исключительно конспектированием и систематизацией онлайн-встречи, а не постановкой диагноза. Такое решение можно назвать наиболее оптимальным как для психологов, так и для пациентов.
Прозрачность, ответственность и ИИ
Современная телемедицина требует технологичности, но еще больше — прозрачности. Ответственность всегда должна оставаться за врачом. Иначе мы получаем не цифровое здравоохранение, а цифровую лотерею.
Один из способов для врачей повысить контроль над ИИ — это использование Explainable AI (объяснимый искусственный интеллект), который позволяет наблюдать процесс принятия решений алгоритмом и делает его прозрачным и доступным для анализа человеком. Так, врач может увидеть, какие именно симптомы, анализы, анамнез или изображения стали основанием для вывода. Это позволяет не слепо верить, а осознанно верифицировать результат.
Системный и объяснимый подход к ответственности и прозрачности должен закрепляться и на уровне регуляторов. В ряде стран сегодня все чаще высказывают недоверие к использованию ИИ в медицине и требуют ручной верификации рекомендаций, полученных от нейросетей. Например, Германия разрабатывает стандарты, согласно которым врач обязан подтверждать решения ИИ вручную перед применением. А в прошлом году в Европейском союзе был принят Закон об искусственном интеллекте (EU AI Act), который относит медицинские ИИ-системы к категориям высокого риска: предъявляются более высокие требования к документации, мониторингу использования. Закон также обязывает проводить обязательную ручную верификацию перед принятием клинически значимых решений. Этот подход позволяет сделать ИИ не угрозой, а инструментом ответственности — при условии, что он будет внедряться с участием человека.
Человек — финальное звено
ИИ в медицине — это не угроза, если его использовать ответственно. Он может значительно улучшить работу врачей, ускорить диагностику, сократить рутину. Но без четких рамок, без контроля, без этических ориентиров и человеческой верификации даже самая точная модель становится потенциальным источником риска.
Необходимость в регулировании и прозрачности — это не страх перед технологиями, а взрослая позиция зрелого рынка. Медицинские ИИ-системы должны внедряться в партнерстве с врачами, под контролем профессионального сообщества и при поддержке регуляторов. Только так технология станет помощником, а не заменой и будет работать не против человека, а в его интересах.