Almanac of Clinical MedicineAlmanac of Clinical MedicineАльманах клинической медицины2072-05052587-9294Moscow Regional Research and Clinical Institute (MONIKI)1734010.18786/2072-0505-2024-52-035ARTICLESОРИГИНАЛЬНЫЕ СТАТЬИResearch ArticleThe inter-reader agreement in the interpretation of mammography images according to BI-RADS by Moscow radiologistsСогласованность между рентгенологами города Москвы при интерпретации маммографических исследований по шкале BI-RADShttps://orcid.org/0009-0007-8975-0017AzaryanAvet S.АзарянАвет Сергеевич
Russian Federation

Postgraduate Student; Radiologist

аспирант; врач-рентгенолог

Dr.Azaryan@yandex.ruhttps://orcid.org/0000-0002-1786-4329PestreninLev D.ПестренинЛев Дмитриевич
Russian Federation

Junior Research Fellow, Department of Medical Informatics, Radiomics and Radiogenomics

мл. науч. сотр. отдела медицинской информатики, радиомики и радиогеномики

PestreninLD@zdrav.mos.ruhttps://orcid.org/0000-0002-5283-5961VasilevYuriy A.ВасильевЮрий Александрович
Russian Federation

MD, PhD, Director

канд. мед. наук, директор

npcmr@zdrav.mos.ruhttps://orcid.org/0000-0002-8235-9361AkhmadEkaterina S.АхмадЕкатерина Сергеевна
Russian Federation

Research Fellow, Clinical and Technical Trials Sector

науч. сотр. сектора клинических и технических испытаний

AkhmadES@zdrav.mos.ruhttps://orcid.org/0000-0001-7786-0349ArzamasovKirill M.АрзамасовКирилл Михайлович
Russian Federation

MD, PhD, Head of the Department of Medical Informatics, Radiomics and Radiogenomics

канд. мед. наук, руководитель отдела медицинской информатики, радиомики и радиогеномики

ArzamasovKM@zdrav.mos.ruResearch and Practical Clinical Center for Diagnostics and Telemedicine Technologies of Moscow Health Care DepartmentГБУЗ города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»Botkin HospitalГБУЗ города Москвы «Московский многопрофильный научно-клинический центр им. С.П. Боткина Департамента здравоохранения города Москвы»24122024201220245273773840309202404122024Copyright ©; 2024, Azaryan A.S., Pestrenin L.D., Vasilev Y.A., Akhmad E.S., Arzamasov K.M.Copyright ©; 2024, Азарян А.С., Пестренин Л.Д., Васильев Ю.А., Ахмад Е.С., Арзамасов К.М.2024Azaryan A.S., Pestrenin L.D., Vasilev Y.A., Akhmad E.S., Arzamasov K.M.Азарян А.С., Пестренин Л.Д., Васильев Ю.А., Ахмад Е.С., Арзамасов К.М.https://creativecommons.org/licenses/by-nc/4.0https://almclinmed.ru/jour/article/view/17340

Background: Breast malignancies take a leading position among incident cancers in women. Mammography has been recognized as the main method for early detection of breast cancer. However, mammogram assessments are based on a subjective opinion of the radiologist, which could lead to diagnostic disagreement. According to the literature, inter-radiologist agreement on mammograms varies from 0.450 to 0.888.

Aim: To assess the inter-reader agreement in mammogram interpretation with BI-RADS (Breast Imaging Reporting and Data System) by radiologists of the Moscow city (Russia).

Methods: The study included 741 mammography images done from January 15, 2020, to June 25, 2023. All mammograms were downloaded from the Unified Radiology Information Service of the Unified Medical Information and Analytical System (EMIAS) of the Moscow city and included radiologist reports with a BI-RADS score (the initial assessment). Each mammogram was further analyzed by two radiologists (with their job experience from 2 to 5 years) (this was the first revision) and thereafter by two more radiologists (with their job experience above 5 years and scientific degree) as a part of the expert review. The inter-reader agreement was assessed using an intra-class correlation coefficient.

Results: The inter-reader agreement for the full BI-RADS score between radiologists who performed the initial assessment and those performing the first revision ranged from 0.836 [95% confidence interval (CI) 0.801–0.865] to 0.875 [95% CI 0.848–0.897]. Similar agreement was observed between radiologists who performed the initial assessment and the experts: 0.838 [95% CI 0.804–0.866] to 0.879 [95% CI 0.854–0.901]. The agreement on the full BI-RADS scale between radiologists who performed the first revision and the experts was significantly higher (p < 0.001) than with those performing the initial assessment and ranged from 0.890 [95% CI 0.866–0.910] to 0.963 [95% CI 0.954–0.970].

Conclusion: The inter-reader agreement between radiologists of the Moscow city in the assessment of mammography study results on the full BI-RADS scale is high. The agreement between the radiologists who performed the revision is higher than their agreement with the radiologists who performed the initial assessment, which may indicate better and more stable results obtained during the revision.

Актуальность. Злокачественные новообразования молочной железы занимают лидирующие позиции в структуре онкологической заболеваемости и смертности. Основным методом раннего выявления рака молочной железы признана маммография. Однако оценка маммографических исследований основана на субъективном мнении врача-рентгенолога, что может приводить к расхождению диагнозов. По данным литературы, согласованность рентгенологов при оценке маммограмм варьирует от 0,450 до 0,888.

Цель – оценить согласованность между врачами-рентгенологами г. Москвы при интерпретации маммографических исследований по шкале BI-RADS (Breast Imaging Reporting and Data System).

Материал и методы. Набор данных составило 741 маммографическое исследование, выполненное в период с 15.01.2020 по 25.06.2023. Все исследования были выгружены из Единого радиологического информационного сервиса Единой медицинской информационно-аналитической системы (ЕРИС ЕМИАС) г. Москвы (Россия) и содержали заключение врача-рентгенолога с оценкой по шкале BI-RADS (первичная оценка). Каждое исследование было дополнительно проанализировано двумя рентгенологами (с опытом работы от 2 до 5 лет) в рамках первого пересмотра и после еще двумя (с опытом работы более 5 лет и ученой степенью / званием) – в рамках экспертного пересмотра. Согласованность между врачами оценивали с помощью внутриклассового коэффициента корреляции.

Результаты. При оценке по полной шкале BI-RADS согласованность между врачами, выполнявшими первичную оценку, и врачами, выполнявшими первый пересмотр, находилась в диапазоне от 0,836 [95% доверительный интервал (ДИ) 0,801–0,865] до 0,875 [95% ДИ 0,848–0,897]. Аналогичная согласованность наблюдалась между рентгенологами, выполнявшими первичную оценку, и экспертами: от 0,838 [95% ДИ 0,804–0,866] до 0,879 [95% ДИ 0,854–0,901]. При оценке по полной шкале BI-RADS согласованность между врачами, выполнявшими первый пересмотр, и экспертами оказалась статистически значимо выше (p < 0,001), чем с врачами, проводившими первичную оценку, и находилась в пределах от 0,890 [95% ДИ 0,866–0,910] до 0,963 [95% ДИ 0,954–0,970].

Заключение. Согласованность между врачами-рентгенологами в г. Москве при оценке маммографических исследований по полной шкале BI-RADS находится на высоком уровне. Согласованность между врачами-рентгенологами, выполнявшими пересмотр, выше, чем их согласованность с врачами, выполнявшими первичное описание, что может свидетельствовать о более качественных и стабильных результатах, получаемых в ходе пересмотра исследований.

breast cancermammographyscreeningagreementBI-RADSрак молочной железымаммографияскринингсогласованностьBI-RADSДепартамент здравоохранения города МосквыMoscow City Health Department123031500003-8Bray F, Laversanne M, Sung H, Ferlay J, Siegel RL, Soerjomataram I, Jemal A. Global cancer statistics 2022: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries. CA Cancer J Clin. 2024;74(3):229–263. doi: 10.3322/caac.21834.Ren W, Chen M, Qiao Y, Zhao F. Global guidelines for breast cancer screening: A systematic review. Breast. 2022;64:85–99. doi: 10.1016/ j.breast.2022.04.003.Vasilev YA, Tyrov IA, Vladzymyrskyy AV, Arzamasov KM, Shulkin IM, Kozhikhina DD, Pestrenin LD. [Double-reading mammograms using artificial intelligence technologies: A new model of mass preventive examination organization]. Digital Diagnostics. 2023;4(2):93–104. Russian. doi: 10.17816/DD321423.Васильев ЮА, Тыров ИА, Владзимирский АВ, Арзамасов КМ, Шулькин ИМ, Кожихина ДД, Пестренин ЛД. Двойной просмотр результатов маммографии с применением технологий искусственного интеллекта: новая модель организации массовых профилактических исследований. Digital Diagnostics. 2023;4(2):93–104. doi: 10.17816/DD321423.D'Orsi CJ. The American College of Radiology mammography lexicon: An initial attempt to standardize terminology. AJR Am J Roentgenol. 1996;166(4):779–780. doi: 10.2214/ajr.166.4.8610548.Liberman L, Menell JH. Breast imaging reporting and data system (BI-RADS). Radiol Clin North Am. 2002;40(3):409–430, v. doi: 10.1016/s0033-8389(01)00017-3.Venkatesan A, Chu P, Kerlikowske K, Sickles EA, Smith-Bindman R. Positive predictive value of specific mammographic findings according to reader and patient variables. Radiology. 2009;250(3):648–657. doi: 10.1148/radiol.2503080541.Liberman L, Abramson AF, Squires FB, Glassman JR, Morris EA, Dershaw DD. The breast imaging reporting and data system: Positive predictive value of mammographic features and final assessment categories. AJR Am J Roentgenol. 1998;171(1):35–40. doi: 10.2214/ajr.171.1.9648759.Bent CK, Bassett LW, D'Orsi CJ, Sayre JW. The positive predictive value of BI-RADS microcalcification descriptors and final assessment categories. AJR Am J Roentgenol. 2010;194(5):1378–1383. doi: 10.2214/AJR.09.3423.Leung JW, Sickles EA. Developing asymmetry identified on mammography: Correlation with imaging outcome and pathologic findings. AJR Am J Roentgenol. 2007;188(3):667–675. doi: 10.2214/AJR.06.0413.Vasiliev YA, Vladzimirsky AV, Arzamasov KM, Shulkin IM, Aksenova LE, Pestrenin LD, Semenov SS, Bondarchuk DV, Smirnov IV. [The first 10,000 mammography exams performed as part of the “Description and interpretation of mammography data using artificial intelligence” service]. Manager Zdravookhranenia. 2023;(8):54–67. Russian. doi: 10.21045/1811-0185-2023-8-54-67.Васильев ЮА, Владзимирский АВ, Арзамасов КМ, Шулькин ИМ, Аксенова ЛЕ, Пестренин ЛД, Семенов СС, Бондарчук ДВ, Смирнов ИВ. Первые 10 000 маммографических исследований, выполненных в рамках услуги «Описание и интерпретация данных маммографического исследования с использованием искусственного интеллекта». Менеджер здравоохранения. 2023;(8):54–67. doi: 10.21045/1811-0185-2023-8-54-67.Beam CA, Conant EF, Sickles EA. Factors affecting radiologist inconsistency in screening mammography. Acad Radiol. 2002;9(5):531–540. doi: 10.1016/s1076-6332(03)80330-6.Lee AY, Wisner DJ, Aminololama-Shakeri S, Arasu VA, Feig SA, Hargreaves J, Ojeda-Fournier H, Bassett LW, Wells CJ, De Guzman J, Flowers CI, Campbell JE, Elson SL, Retallack H, Joe BN. Inter-reader variability in the use of BI-RADS descriptors for suspicious findings on diagnostic mammography: A multi-institution study of 10 academic radiologists. Acad Radiol. 2017;24(1):60–66. doi: 10.1016/ j.acra.2016.09.010.Barlow WE, Chi C, Carney PA, Taplin SH, D'Orsi C, Cutter G, Hendrick RE, Elmore JG. Accuracy of screening mammography interpretation by characteristics of radiologists. J Natl Cancer Inst. 2004;96(24):1840–1850. doi: 10.1093/jnci/djh333.Carney PA, Elmore JG, Abraham LA, Gerrity MS, Hendrick RE, Taplin SH, Barlow WE, Cutter GR, Poplack SP, D'Orsi CJ. Radiologist uncertainty and the interpretation of screening. Med Decis Making. 2004;24(3):255–264. doi: 10.1177/0272989X04265480.Elmore JG, Jackson SL, Abraham L, Miglioretti DL, Carney PA, Geller BM, Yankaskas BC, Kerlikowske K, Onega T, Rosenberg RD, Sickles EA, Buist DS. Variability in interpretive performance at screening mammography and radiologists' characteristics associated with accuracy. Radiology. 2009;253(3):641–651. doi: 10.1148/radiol.2533082308.Reed WM, Lee WB, Cawson JN, Brennan PC. Malignancy detection in digital mammograms: Important reader characteristics and required case numbers. Acad Radiol. 2010;17(11):1409–1413. doi: 10.1016/j.acra.2010.06.016.Carney PA, Cook AJ, Miglioretti DL, Feig SA, Bowles EA, Geller BM, Kerlikowske K, Kettler M, Onega T, Elmore JG. Use of clinical history affects accuracy of interpretive performance of screening mammography. J Clin Epidemiol. 2012;65(2):219–230. doi: 10.1016/j.jclinepi.2011.06.010.Kim SH, Lee EH, Jun JK, Kim YM, Chang YW, Lee JH, Kim HW, Choi EJ; Alliance for Breast Cancer Screening in Korea (ABCS-K). Interpretive performance and inter-observer agreement on digital mammography test sets. Korean J Radiol. 2019;20(2):218–224. doi: 10.3348/kjr.2018.0193.Winkel RR, von Euler-Chelpin M, Nielsen M, Diao P, Nielsen MB, Uldall WY, Vejborg I. Inter-observer agreement according to three methods of evaluating mammographic density and parenchymal pattern in a case control study: Impact on relative risk of breast cancer. BMC Cancer. 2015;15:274. doi: 10.1186/s12885-015-1256-3.Timmers JM, Verbeek AL, Pijnappel RM, Broeders MJ, den Heeten GJ. Experiences with a self-test for Dutch breast screening radiologists: Lessons learnt. Eur Radiol. 2014;24(2):294–304. doi: 10.1007/s00330-013-3018-4.Redondo A, Comas M, Macià F, Ferrer F, Murta-Nascimento C, Maristany MT, Molins E, Sala M, Castells X. Inter- and intraradiologist variability in the BI-RADS assessment and breast density categories for screening mammograms. Br J Radiol. 2012;85(1019):1465–1470. doi: 10.1259/bjr/21256379.Kerlikowske K, Grady D, Barclay J, Frankel SD, Ominsky SH, Sickles EA, Ernster V. Variability and accuracy in mammographic interpretation using the American College of Radiology Breast Imaging Reporting and Data System. J Natl Cancer Inst. 1998;90(23):1801–1809. doi: 10.1093/jnci/90.23.1801.Brady AP. Error and discrepancy in radiology: Inevitable or avoidable? Insights Imaging. 2017;8(1):171–182. doi: 10.1007/s13244-016-0534-1.1.Benchoufi M, Matzner-Lober E, Molinari N, Jannot AS, Soyer P. Interobserver agreement issues in radiology. Diagn Interv Imaging. 2020;101(10):639–641. doi: 10.1016/ j.diii.2020.09.001.Müller R, Büttner P. A critical discussion of intraclass correlation coefficients. Stat Med. 1994;13(23–24):2465–2476. doi: 10.1002/sim.4780132310.McGraw KO, Wong SP. Forming inferences about some intraclass correlation coefficients. Psychol Methods. 1996;1(1):30–46. doi: 10.1037/1082-989X.1.1.30.Taplin SH, Ichikawa LE, Kerlikowske K, Ernster VL, Rosenberg RD, Yankaskas BC, Carney PA, Geller BM, Urban N, Dignan MB, Barlow WE, Ballard-Barbash R, Sickles EA. Concordance of breast imaging reporting and data system assessments and management recommendations in screening mammography. Radiology. 2002;222(2):529–535. doi: 10.1148/radiol.2222010647.Bonett DG. Sample size requirements for estimating intraclass correlations with desired precision. Stat Med. 2002;21(9):1331–1335. doi: 10.1002/sim.1108.Trieu PDY, Mello-Thoms CR, Barron ML, Lewis SJ. Look how far we have come: BREAST cancer detection education on the international stage. Front Oncol. 2023;12:1023714. doi: 10.3389/fonc.2022.1023714.Burnside ES, Sickles EA, Bassett LW, Rubin DL, Lee CH, Ikeda DM, Mendelson EB, Wilcox PA, Butler PF, D'Orsi CJ. The ACR BI-RADS experience: learning from history. J Am Coll Radiol. 2009;6(12):851–860. doi: 10.1016/ j.jacr.2009.07.023.