Оценка диагностической точности системы автоматического анализа цифровых рентгенограмм легких при выявлении округлых образований
- Авторы: Гаврилов П.В.1, Смольникова У.А.1
-
Учреждения:
- ФГБУ «Санкт-Петербургский научно-исследовательский институт фтизиопульмонологии» Минздрава России
- Выпуск: Том 49, № 6 (2021)
- Страницы: 359-364
- Раздел: ОРИГИНАЛЬНЫЕ СТАТЬИ
- URL: https://almclinmed.ru/jour/article/view/1521
- DOI: https://doi.org/10.18786/2072-0505-2021-49-035
- ID: 1521
Цитировать
Полный текст
Аннотация
Актуальность. Большинство данных об эффективности систем анализа цифровых рентгенологических изображений предоставлено самими разработчиками и нуждается в качественной проверке на базах данных, подготовленных независимо от разработчика.
Цель – проанализировать информативность автоматического распознавания округлых образований в легких при цифровой рентгенографии с использованием одного из общедоступных диагностических алгоритмов на публично недоступных эталонных наборах данных.
Материал и методы. Исследование основано на распознавании и анализе цифровых рентгенологических изображений из двух публично недоступных эталонных наборов данных, имеющих государственную регистрацию (Российская Федерация), посредством одного из общедоступных диагностических алгоритмов FutureMed Analyzer. Работа выполнена на примере двух моделей рентгенологического скрининга: модель 1 состояла из 100 рентгенограмм легких с соотношением «норма:патология» 94%:6%, модель 2 состояла из 5150 рентгенограмм легких с соотношением «норма:патология» 97%:3%.
Результаты. Анализ результатов интерпретации рентгенограмм диагностической системой показал: из рентгенограмм модели 1 было верно интерпретировано 98% случаев, модели 2 – 95%. При этом 83% случаев из модели 1 и 69% из модели 2 были интерпретированы как рентгенограммы с наличием патологических изменений в легких. Количество правильных ответов при разделении рентгенограмм легких на две категории – «норма» и «патология» – в отношении моделей 1 и 2 составило 95 и 98% соответственно. Чувствительность в выявлении патологических образований колебалась от 69 до 83%. Специфичность составила 99% для рентгенограмм из модели 1 и 96% для рентгенограмм из модели 2. Был получен довольно низкий показатель гиподиагностики: для модели 1 – 17%, для модели 2 – 31%. Параметр «площадь под кривой» для модели 1 был равен 0,91, для модели 2 – 0,85.
Заключение. Диагностическая эффективность автоматического анализа изображений на основе сверточных нейронных сетей приближается к аналогичным показателям врачей-рентгенологов. Эта система автоматического выявления патологических изменений не смогла решить наиболее сложные проблемы выявления округлых образований с низкими плотностными характеристиками (согласно данным компьютерной томографии – по типу «матового стекла») и так называемую проблему суммации теней при локализации патологических изменений в таких затруднительных для интерпретации местах, как верхушки легких, ключицы, ребра и др. Для выбора подходящей системы медицинским учреждениям необходимо выполнять предварительное тестирование на собственных моделях, эквивалентных исследованиям, которые проводятся в данном учреждении (параметры выполнения рентгенографии, характер и частота выявляемой патологии).
Об авторах
П. В. Гаврилов
ФГБУ «Санкт-Петербургский научно-исследовательский институт фтизиопульмонологии» Минздрава России
Автор, ответственный за переписку.
Email: spbniifrentgen@mail.ru
ORCID iD: 0000-0003-3251-4084
Гаврилов Павел Владимирович – кандидат медицинских наук, ведущий научный сотрудник, руководитель направления «Лучевая диагностика»
191036, г. Санкт-Петербург, Лиговский пр-т, 2–4
РоссияУ. А. Смольникова
ФГБУ «Санкт-Петербургский научно-исследовательский институт фтизиопульмонологии» Минздрава России
Email: ulamonika@mail.ru
ORCID iD: 0000-0001-9568-3577
Смольникова Ульяна Алексеевна – аспирант отделения лучевой диагностики
191036, г. Санкт-Петербург, Лиговский пр-т, 2–4
РоссияСписок литературы
- Тюрин ИЕ. Лучевая диагностика в Российской Федерации в 2016 г. Вестник рентгенологии и радиологии. 2017;98(4):219–226. doi: 10.20862/0042-4676-2017-98-4-219-226.
- Трофимова ТН, Козлова ОВ. Лучевая диагностика 2018 в цифрах и фактах. Лучевая диагностика и терапия. 2019;(3):100–102. doi: 10.22328/2079-5343-2019-10-3-100-102.
- Yerushalmy J, Harkness JT, Cope JH, Kennedy BR. The role of dual reading in mass radiography. American Review of Tuberculosis. 1950;61:443–464.
- Nakamura K, Ohmi A, Kurihara T, Suzuki S, Tadera M. [Studies on the diagnostic value of 70 mm radiophotograms by mirror camera and the reading ability of physicians]. Kekkaku. 1970;45(4):121–128. Japanese.
- Гаврилов ПВ, Ушков АД, Смольникова УА. Выявление округлых образований в легких при цифровой рентгенографии: роль опыта работы врача-рентгенолога. Медицинский альянс. 2019;(2):51–56.
- Lakhani P, Sundaram B. Deep Learning at Chest Radiography: Automated Classification of Pulmonary Tuberculosis by Using Convolutional Neural Networks. Radiology. 2017;284(2):574–582. doi: 10.1148/radiol.2017162326.
- Jaeger S, Karargyris A, Candemir S, Folio L, Siegelman J, Callaghan F, Zhiyun Xue, Palaniappan K, Singh RK, Antani S, Thoma G, Yi-Xiang Wang, Pu-Xuan Lu, McDonald CJ. Automatic tuberculosis screening using chest radiographs. IEEE Trans Med Imaging. 2014;33(2):233–245. doi: 10.1109/TMI.2013.2284099.
- Морозов СП, Владзимирский АВ, Ледихова НВ, Соколина ИА, Кульберг НС, Гомболевский ВА. Оценка диагностической точности системы скрининга туберкулеза легких на основе искусственного интеллекта. Туберкулез и болезни легких. 2018;96(8):42–49. doi: 10.21292/2075-1230-2018-96-8-42-49.
- Падалко МА, Наумов АМ, Назариков СИ, Лушников АА. Применение технологий искусственного интеллекта для диагностики туберкулеза и онкологических заболеваний. Туберкулез и болезни легких. 2019;97(11):62. doi: 10.21292/2075-1230-2019-97-11-62-62.
- Морозов СП, Владзимирский АВ, Кляшторный ВГ, Андрейченко АЕ, Кульберг НС, Гомболевский ВА, Сергунова КА. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика): методические рекомендации. Серия «Лучшие практики лучевой и инструментальной диагностики». Вып. 57. М.; 2019. 53 с.
- Васильев АЮ, Малый АЮ, Серова НС. Анализ данных лучевых методов исследования на основе принципов доказательной медицины: учебное пособие. М.: ГЭОТАР-Медиа; 2008. 32 с.
- Fawcett T. An introduction to ROC analysis. Pattern recognition letters. 2006;27(8):861–874. doi: 10.1016/j.patrec.2005.10.010.
- Macskassy SA, Provost F, Rosset S. ROC confidence bands: An empirical evaluation. In: ICML '05: Proceedings of the 22nd international conference on Machine learning. 2005. p. 537–544. doi: 10.1145/1102351.1102419.
- Nam JG, Park S, Hwang EJ, Lee JH, Jin KN, Lim KY, Vu TH, Sohn JH, Hwang S, Goo JM, Park CM. Development and Validation of Deep Learning-based Automatic Detection Algorithm for Malignant Pulmonary Nodules on Chest Radiographs. Radiology. 2019;290(1): 218–228. doi: 10.1148/radiol.2018180237.
- Sim Y, Chung MJ, Kotter E, Yune S, Kim M, Do S, Han K, Kim H, Yang S, Lee DJ, Choi BW. Deep Convolutional Neural Network-based Software Improves Radiologist Detection of Malignant Lung Nodules on Chest Radiographs. Radiology. 2020;294(1):199–209. doi: 10.1148/radiol.2019182465.