МОСКВА, 12 мая. Предсказывать движение глаз врача при анализе рентгеновских снимков может новая нейронная сеть, созданная учеными Университета Иннополис. По словам разработчиков, алгоритм может «научить» молодых рентгенологов не просто смотреть на снимки, но и замечать на них важные детали для постановки диагноза. Результаты работы представлены на Конференции по нейронным информационным системам NeurIPS.
В зависимости от задачи — например, поиска признаков пневмонии, сердечной недостаточности или контроля за заживлением переломов ребер — врачи должны обращать внимание на разные части рентгеновского снимка грудной клетки. Однако современные «диагностические» нейронные сети обращают внимание на слишком темные или наиболее яркие пиксели, которые могут появиться из-за засветки кабинета рентгенографии или поглощения излучения украшениями на теле пациента, рассказали ученые Университета Иннополис.
Специалисты вуза создали ИИ-помощника рентгенолога, который опирается не только на «картинку», но и на медицинские данные: анатомические, диагностические и другие сведения.
«Наша модель объединяет зрение, язык и медицинские знания для предсказания взгляда рентгенолога, изучающего медицинские снимки. Она связывает пиксели не просто с яркими областями, а с медицинским смыслом этих областей и с диагностической задачей. Особый подход к анализу данных помог заглянуть внутрь нейросети и извлечь из отдельных фрагментов снимка понятные человеку семантические описания: «кость», «сердце», «затемнение», — рассказал один из авторов работы, специалист Лаборатории искусственного интеллекта в медицине Университета Иннополис Дмитрий Львов.
Для обучения нейросети использовались три типа данных: визуальные признаки, полученные от специализированных медицинских алгоритмов; текстовые описания диагностических меток, например, «норма» или «пневмония»; и семантические данные — примеры описания данных для человека. В результате модель предсказывает не только тепловую карту внимания, но и последовательность фиксаций взгляда: координаты участков снимка и длительность внимания к ним — именно так, как врач-рентгенолог распределяет внимание при поиске ответа на поставленную медицинскую задачу.
По словам руководителя Лаборатории искусственного интеллекта Университета Иннополис Ильи Першина, новая система может на пять процентов точнее аналогов выявлять пневмонию и сердечную недостаточность. Но ценность модели — не в возможности быть «самостоятельным врачом», а в обучении новых кадров не только видеть снимки, но и правильно на них «смотреть».
«Разработанная модель может лечь в основу симуляторов для обучения будущих рентгенологов правильным паттернам визуального поиска. Кроме того, предсказание «траектории» взгляда делает работу медицинских ИИ-систем более понятной и обоснованной для врача, укрепляя доверие к технологиям. Конечно, внедрение и масштабирование модели потребует дополнительной валидации в разных медицинских учреждениях», — подчеркнул Першин.
Работа выполнена при поддержке Министерства экономического развития РФ.
Источник: РИА