Отправить статью по E-mail Согласованность между рентгенологами города Москвы при интерпретации маммографических исследований по шкале BI-RADS
- Авторы: Азарян А.С.1,2, Пестренин Л.Д.1, Васильев Ю.А.1, Ахмад Е.С.1, Арзамасов К.М.1
-
Учреждения:
- ГБУЗ города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»
- ГБУЗ города Москвы «Московский многопрофильный научно-клинический центр им. С.П. Боткина Департамента здравоохранения города Москвы»
- Раздел: ОРИГИНАЛЬНЫЕ СТАТЬИ
- URL: https://almclinmed.ru/jour/article/view/17340
- DOI: https://doi.org/10.18786/2072-0505-2024-52-035
- ID: 17340
Цитировать
Полный текст
Аннотация
Актуальность. Злокачественные новообразования молочной железы занимают лидирующие позиции в структуре онкологической заболеваемости и смертности. Основным методом раннего выявления рака молочной железы признана маммография. Однако оценка маммографических исследований основана на субъективном мнении врача-рентгенолога, что может приводить к расхождению диагнозов. По данным литературы, согласованность рентгенологов при оценке маммограмм варьирует от 0,450 до 0,888.
Цель – оценить согласованность между врачами-рентгенологами г. Москвы при интерпретации маммографических исследований по шкале BI-RADS (Breast Imaging Reporting and Data System).
Материал и методы. Набор данных составило 741 маммографическое исследование, выполненное в период с 15.01.2020 по 25.06.2023. Все исследования были выгружены из Единого радиологического информационного сервиса Единой медицинской информационно-аналитической системы (ЕРИС ЕМИАС) г. Москвы (Россия) и содержали заключение врача-рентгенолога с оценкой по шкале BI-RADS (первичная оценка). Каждое исследование было дополнительно проанализировано двумя рентгенологами (с опытом работы от 2 до 5 лет) в рамках первого пересмотра и после еще двумя (с опытом работы более 5 лет и ученой степенью / званием) – в рамках экспертного пересмотра. Согласованность между врачами оценивали с помощью внутриклассового коэффициента корреляции.
Результаты. При оценке по полной шкале BI-RADS согласованность между врачами, выполнявшими первичную оценку, и врачами, выполнявшими первый пересмотр, находилась в диапазоне от 0,836 [95% доверительный интервал (ДИ) 0,801–0,865] до 0,875 [95% ДИ 0,848–0,897]. Аналогичная согласованность наблюдалась между рентгенологами, выполнявшими первичную оценку, и экспертами: от 0,838 [95% ДИ 0,804–0,866] до 0,879 [95% ДИ 0,854–0,901]. При оценке по полной шкале BI-RADS согласованность между врачами, выполнявшими первый пересмотр, и экспертами оказалась статистически значимо выше (p < 0,001), чем с врачами, проводившими первичную оценку, и находилась в пределах от 0,890 [95% ДИ 0,866–0,910] до 0,963 [95% ДИ 0,954–0,970].
Заключение. Согласованность между врачами-рентгенологами в г. Москве при оценке маммографических исследований по полной шкале BI-RADS находится на высоком уровне. Согласованность между врачами-рентгенологами, выполнявшими пересмотр, выше, чем их согласованность с врачами, выполнявшими первичное описание, что может свидетельствовать о более качественных и стабильных результатах, получаемых в ходе пересмотра исследований.
Ключевые слова
Полный текст
Злокачественные новообразования (ЗНО) молочной железы неизменно занимают второе место после рака легкого в структуре онкологической заболеваемости: так, в 2022 г. в мире было выявлено 2,3 млн новых случаев, что составило 11,6% от всех случаев впервые диагностированного рака. При этом среди женского населения молочная железа по-прежнему остается ведущей локализацией ЗНО с долей 23,8%. В структуре смертности женщин от ЗНО наибольший удельный вес имеют также ЗНО молочной железы – 15,4% [1].
Основным скрининговым методом раннего выявления ЗНО молочной железы признана маммография [2]. Двойной просмотр результатов профилактической маммографии, который принят на законодательном уровне в разных странах мира, включая Россию, повышает объединенную частоту обнаружения патологических изменений по сравнению с однократным просмотром [3]. При двойных просмотрах крайне необходимы стандартизация анализа и установление единой терминологии, которые обеспечиваются применением шкалы BI-RADS (Breast Imaging Reporting and Data System), разработанной Американским колледжем радиологии (American College of Radiology – ACR) [4, 5] и представленной в отечественных методических рекомендациях1. Использование единой терминологии необходимо также для эффективной коммуникации между врачами разных специальностей. Кроме того, трудно переоценить значение стандартизированной терминологии как для сбора и анализа маммографических данных, так и для определения прогностической ценности находок в отношении злокачественности [6–9].
Несмотря на то что критерии установления категорий BI-RADS четко определены, применение этих критериев к маммографическим находкам основывается на их субъективной интерпретации врачом-рентгенологом. В связи с этим в ряде случаев может возникать несогласие между медицинскими специалистами при оценке одних и тех же маммографических изображений [10]. Маммограммы с искажением структуры молочной железы, кальцинатами, массовыми образованиями и участками асимметричного уплотнения чаще других вызывают несогласие между рентгенологами [11], при определении различных рентгенологических признаков коэффициент каппа Коэна варьирует от 0,090 до 0,820 [12]. В ряде исследований выявлено влияние пола врачей, рентгенологического стажа, оценки анамнеза исследуемого пациента и ряда других параметров на результат анализа маммографических изображений [13–17]. Как следствие, согласованность между рентгенологами при оценке маммограмм варьирует в широком диапазоне – от 0,450 до 0,888 в зависимости от типа используемой шкалы [18–22]. В случаях когда мнения рентгенологов расходятся, подразумевается, что как минимум один из двух рентгенологов, оценивающих маммографическое исследование, допускает ошибку. По мнению A. P. Brady, полностью исключить ошибки в интерпретации рентгенологических исследований невозможно, однако реально снизить частоту их возникновения, что могло бы способствовать повышению согласованности между рентгенологами [23]. В целом оценка согласованности необходима для того, чтобы можно было сформировать четкое представление о возможных вариациях при интерпретации того или иного вида рентгенологического исследования [24].
Таким образом, зарубежными исследователями была выявлена проблема отсутствия высокой согласованности между врачами-рентгенологами при интерпретации маммографических исследований, однако в отечественной литературе нам не удалось найти научные работы, посвященные оценке согласованности рентгенологов, которые были бы выполнены на достаточных по объему выборках.
Цель настоящего исследования – оценить согласованность между врачами-рентгенологами г. Москвы при интерпретации маммографических исследований по шкале BI-RADS.
Материал и методы
Набор данных
Из Единого радиологического информационного сервиса Единой медицинской информационно-аналитической системы (ЕРИС ЕМИАС) г. Москвы были выгружены маммографические исследования, выполненные в период с 15.01.2020 по 25.06.2023, которые содержали заключение врача-рентгенолога с указанием категории для правой и левой молочной железы по шкале BI-RADS (первичная оценка).
Критерии включения: исследования, выполненные пациентам женского пола в возрасте старше 18 лет, наличие выставленной при первичной оценке категории BI-RADS.
Критерии исключения: маммограммы неудовлетворительного качества (класс I по PGMI (Perfect, Good, Moderate, Inadequate)).
В итоговый набор данных вошло 741 исследование. Средний возраст пациенток составил 59,5 ± 12,4 года. Процентное распределение исследований по категориям BI-RADS по результатам первичной оценки для правой и левой молочной железы статистически значимо не отличалось (p > 0,05) (табл. 1).
Таблица 1. Распределение исследований по категориям BI-RADS по результатам первичной оценки, абс. (%)
Локализация | BI-RADS 1 | BI-RADS 2 | BI-RADS 3 | BI-RADS 4 | BI-RADS 5 |
Правая молочная железа | 223 (30,1) | 306 (41,3) | 97 (13,1) | 50 (6,8) | 64 (8,7) |
Левая молочная железа | 199 (26,9) | 330 (44,5) | 76 (10,2) | 54 (7,3) | 82 (11,1) |
Оценка маммографических исследований
Каждое исследование оценивали четыре рентгенолога.
На первом этапе каждое исследование было проанализировано независимо друг от друга двумя врачами-рентгенологами с опытом работы от 2 до 5 лет. В процессе оценки исследований каждый рентгенолог определял категорию по шкале BI-RADS для правой и левой молочной железы и вносил данные в таблицу (первый пересмотр). Оценку категории по шкале BI-RADS выполняли на основании характерных рентгенологических признаков23.
На втором этапе другие два врача-рентгенолога с опытом работы не менее 5 лет и ученой степенью / званием также независимо друг от друга определяли категорию по шкале BI-RADS для правой и левой молочной железы (экспертный пересмотр). На этом этапе врачам-рентгенологам были доступны результаты оценки, внесенные в таблицу на первом этапе.
Статистический анализ
Статистический анализ выполнен в интегрированной среде разработки RStudio с использованием языка R. Для оценки согласованности между врачами-рентгенологами использовали метод оценки внутриклассовой корреляции Пирсона [25, 26]. Согласованность рассчитывали для полной шкалы BI-RADS (категории 1–5), а также для двух бинарных шкал. Бинарная шкала 1 включала в себя категории «отсутствие признаков ЗНО» (категории BI-RADS 1, 2, 3) и «признаки ЗНО» (категории BI-RADS 4 и 5) [27]. Бинарная шкала 2 включала в себя категории «отсутствие признаков ЗНО» (категории BI-RADS 1 и 2) и «признаки ЗНО» (категории BI-RADS 3, 4, 5). Размер выборки обусловлен имеющимися в наличии исследованиями, полученными при подготовке набора данных. На основании метода определения объема выборки, предложенного D. G. Bonett, для обеспечения уровня значимости, равного 0,05, при определении согласованности двух рентгенологов минимальный объем выборки должен составлять 377 исследований [28].
Результаты
Согласованность между врачами, выполнявшими первичную оценку, и врачами, проводившими первый пересмотр, находилась в пределах 0,836–0,875 при оценке по полной шкале BI-RADS. Аналогичная согласованность наблюдалась между врачами, выполнявшими первичную оценку, и экспертами (0,838–0,879) (табл. 2).
Таблица 2. Согласованность между врачами-рентгенологами, выполнявшими первичное описание, первый и экспертный пересмотры
Сравниваемые оценки | Молочная железа | Согласованность по полной шкале BI-RADS | Согласованность по бинарной шкале 1 | Согласованность по бинарной шкале 2 | |
Первичная оценка | Врач 1 (первый пересмотр) | R | |||
L | |||||
Врач 2 (первый пересмотр) | R | ||||
L | |||||
Эксперт 1 | R | ||||
L | |||||
Эксперт 2 | R | ||||
L | |||||
L – левая молочная железа, R – правая молочная железа
Все результаты представлены в виде коэффициентов внутриклассовой корреляции с 95% доверительным интервалом; значение p для всех сравниваемых оценок составило < 0,001
Согласованность по бинарной шкале 1 для всех сравниваемых оценок была сопоставимой с согласованностью по полной шкале BI-RADS или в ряде случаев превышала ее. Согласованность по бинарной шкале 2 для всех сравниваемых оценок была сопоставимой с согласованностью по полной шкале BI-RADS или, наоборот, в ряде случаев была ниже ее.
Мы оценили согласованность между врачами и экспертами, участвовавшими в пересмотре исследований. Коэффициент внутриклассовой корреляции был в пределах от 0,890 до 0,963 (табл. 3).
Таблица 3. Согласованность между врачами-рентгенологами, выполнявшими первый и экспертный пересмотры
Сравниваемые оценки | Молочная железа | Согласованность по полной шкале BI-RADS | Согласованность по бинарной шкале 2 | |
Врач 1 (первый пересмотр) | Эксперт 1 | R | ||
L | ||||
Эксперт 2 | R | |||
L | ||||
Врач 2 (первый пересмотр) | Эксперт 1 | R | ||
L | ||||
Эксперт 2 | R | |||
L | ||||
Врач 1 (первый пересмотр) | Врач 2 (первый пересмотр) | R | ||
L | ||||
Эксперт 1 | Эксперт 2 | R | ||
L | ||||
L – левая молочная железа, R – правая молочная железа
Все результаты представлены в виде коэффициентов внутриклассовой корреляции с 95% доверительным интервалом; значение p для всех сравниваемых оценок составило < 0,001
Согласованность между врачами, выполнившими первый пересмотр, и экспертами по полной шкале BI-RADS в большинстве случаев была значимо выше, чем согласованность их оценок и оценок, полученных в процессе первичного описания маммографических исследований.
Однако присутствовали и единичные случаи значимого расхождения в оценках маммографических исследований. В одном из таких случаев рентгенолог, выполнивший первичное описание, и врачи, выполнившие пересмотр, обратили внимание на очаговое скопление микрокальцинатов в паренхиме правой молочной железы (рис. 1). Все врачи оценили изменения как соответствовавшие категории BI-RADS 4. Не исключено, что выявленная патология в правой молочной железе повлияла на оценку левой молочной железы у той же пациентки, где двое рентгенологов распознали в указанной на рис. 2 зоне интереса очаговое скопление микрокальцинатов и определили категорию BI-RADS 4, тогда как остальные врачи интерпретировали изменения как линейную фрагментарную кальцинацию в проекции стенки сосуда и установили категорию BI-RADS 2.
Рис. 1. Правая молочная железа в краниокаудальной проекции с выделенной областью интереса. Очаговое скопление микрокальцинатов в паренхиме правой молочной железы
Рис. 2. Левая молочная железа в краниокаудальной проекции с выделенной областью интереса. Мнения рентгенологов разделились: в области интереса – очаговое скопление микрокальцинатов или линейная фрагментарная кальцинация в проекции стенки сосуда
Обсуждение
По нашим данным, согласованность при оценке по полной шкале BI-RADS находилась в диапазоне от 0,836 до 0,963, а при оценке по бинарным шкалам – от 0,734 до 0,941.
В исследованиях, выполненных другими авторами, согласованность варьировала в пределах от 0,450 до 0,888 (табл. 4) [20–24]. Обращают на себя внимание три фактора, которые не позволяют в полной мере выполнить сопоставление полученных в этих исследованиях результатов, а также сравнить их с нашими данными. Во-первых, выбирались разные шкалы оценки маммографических исследований: шкалы BI-RADS, включавшие 4, 5 или 6 категорий; шкалы злокачественности, включавшие 2 и 7 категорий; шкала «патология / без патологии»; шкала «пересмотр (BI-RADS 0, 4 и 5) / без пересмотра (BI-RADS 1 или 2)» [18–22]. Во-вторых, результаты исследований опубликованы в широком временном диапазоне – от 1998 до 2019 гг., что, по нашему мнению, имеет принципиальное значение, поскольку внедрение скрининговой маммографии и обучение врачей-рентгенологов правильной интерпретации таких исследований происходили в разное время в зависимости от страны, что не могло не сказаться на точности и согласованности врачебных оценок [29]. В-третьих, со временем менялась и сама шкала BI-RADS. Всего было выпущено 5 изданий: в 1993, 1995, 1998, 2003 и 2013 гг. [30]. В ряде исследований отсутствовали указания на то, каким изданием шкалы BI-RADS пользовались врачи-рентгенологи при оценке маммографических исследований [18, 20, 21].
Таблица 4. Согласованность между врачами-рентгенологами по данным литературы
Страна | Год публикации | Тип шкалы | Согласованность | 95% доверительный интервал | Источник |
Республика Корея | 2019 | Шкала злокачественности (7 категорий) | 0,772 | 0,754–0,791 | [18] |
Шкала злокачественности (2 категории) | 0,888 | 0,873–0,902 | |||
Дания | 2015 | BI-RADS (4 категории) | 0,880 | 0,810–0,920 | [19] |
Голландия | 2013 | BI-RADS (5 категорий) | 0,450 | 0,430–0,470 | [20] |
Бинарная шкала (BI-RADS 0, 4 и 5 / BI-RADS 1 и 2) | 0,770 | 0,760–0,790 | |||
Испания | 2012 | BI-RADS (6 категорий) | 0,580 | 0,560–0,590 | [21] |
США | 1998 | BI-RADS (5 категорий) | 0,580 | 0,550–0,610 | [22] |
Бинарная шкала (патология / без патологии) | 0,660 | 0,630–0,690 |
Тем не менее при анализе работ других авторов мы обнаружили интересную закономерность: согласованность между врачами-рентгенологами была выше при оценке по бинарной шкале, чем при оценке по полной шкале BI-RADS [18, 20, 22]. В нашем исследовании мы также установили, что согласованность оценок по бинарной шкале 1 «отсутствие признаков ЗНО (BI-RADS 1, 2, 3) / признаки ЗНО (BI-RADS 4 и 5)» была несколько выше, чем согласованность по полной шкале BI-RADS, включавшей в себя 5 категорий (0,810–0,941 против 0,836–0,879 соответственно) (см. табл. 1). Однако согласованность по бинарной шкале 2 «отсутствие признаков ЗНО (BI-RADS 1 и 2) / признаки ЗНО (BI-RADS 3, 4, 5)», наоборот, была несколько ниже, чем согласованность по полной шкале BI-RADS, включавшей в себя 5 категорий (0,734–0,829 против 0,836–0,879 соответственно), а также ниже, чем согласованность по бинарной шкале 1 (0,734–0,829 против 0,810–0,941 соответственно). В этих случаях разную согласованность можно объяснить отнесением категории BI-RADS 3 к категории с наличием или отсутствием признаков ЗНО. Эта категория часто устанавливается при наличии изменений и отсутствии архива предыдущих исследований у пациента, но тем не менее согласно шкале BI-RADS выявленные изменения относятся скорее к доброкачественным, нежели злокачественным находкам. Вероятно, вследствие этого согласованность по бинарной шкале 1 оказалась выше, чем по бинарной шкале 2.
Ограничением настоящего исследования было отсутствие гистологической верификации заключений врачей-рентгенологов.
Заключение
Согласованность между врачами-рентгенологами в г. Москве при оценке маммографических исследований по полной шкале BI-RADS находится на высоком уровне и составляет от 0,836 до 0,963. Согласованность между врачами-рентгенологами, выполнявшими пересмотр (0,890–0,963), выше, чем их согласованность с врачами, выполнявшими первичное описание (0,836–0,879), что может свидетельствовать о более качественных и стабильных результатах, получаемых в ходе пересмотра исследований.
Оценка согласованности врачей-рентгенологов по-прежнему представляет значительный интерес для исследователей всего мира. Логичным продолжением настоящей работы могут стать более крупные исследования, посвященные оценке согласованности врачей-рентгенологов разных стран при установлении категории BI-RADS, которые необходимо провести на гистологически верифицированных наборах данных.
Дополнительная информация
Финансирование
Данная статья подготовлена авторским коллективом в рамках НИОКР «Разработка платформы подготовки наборов данных лучевых диагностических исследований» (№ ЕГИСУ: 123031500003-8) в соответствии с Приказом от 21.12.2022 г. № 1196 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы, государственным бюджетным (автономным) учреждениям, подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов» Департамента здравоохранения города Москвы.
Конфликт интересов
Авторы заявляют об отсутствии явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Участие авторов
А.С. Азарян – анализ полученных данных, написание и редактирование текста; Л.Д. Пестренин – сбор и обработка материала, анализ полученных данных, написание и финальное редактирование текста; Ю.А. Васильев – концепция исследования, финальное редактирование текста; Е.С. Ахмад, К.М. Арзамасов – дизайн исследования, сбор и обработка материала. Все авторы прочли и одобрили финальную версию статьи перед публикацией, согласны нести ответственность за все аспекты работы и гарантируют, что ими надлежащим образом были рассмотрены и решены вопросы, связанные с точностью и добросовестностью всех частей работы.
Благодарности
Авторы выражают благодарность А.В. Владзимирскому и О.В. Омелянской за помощь в создании концепции исследования, Н.Ю. Никитину и А.В. Майоровой – за консультирование по статистической обработке данных, В.В. Зинченко – за помощь с организацией сбора данных, С.С. Семенову – за подготовку первичных данных, М.Ю.Болисовой – за консультации по клиническим вопросам.
1 Мануйлова ОО, Павлова ТВ, Диденко ВВ, Смирнов ИВ, Абдураимов АБ, Васильев АЮ. Методические рекомендации по использованию международной системы BI-RADS при маммографическом обследовании. Москва, 2017. 23 с.
2 Терновой СК, Абдураимов АБ. Лучевая маммология. М.: ГЭОТАР-Медиа; 2007.
3 Морозов СП, Ветшева НН, Диденко ВВ, Смирнов ИВ, Овсянников АГ, Ледихова НВ, Пучкова ОС. Организация программы популяционного скрининга злокачественных новообразований молочной железы среди женского населения: методические рекомендации. Москва, 2020. 44 с.
Об авторах
Авет Сергеевич Азарян
ГБУЗ города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»; ГБУЗ города Москвы «Московский многопрофильный научно-клинический центр им. С.П. Боткина Департамента здравоохранения города Москвы»
Автор, ответственный за переписку.
Email: Dr.Azaryan@yandex.ru
ORCID iD: 0009-0007-8975-0017
аспирант; врач-рентгенолог
Россия, 127051, г. Москва, ул. Петровка, 24–1; 125284, г. Москва, 2-й Боткинский пр-д, 5Лев Дмитриевич Пестренин
ГБУЗ города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»
Email: PestreninLD@zdrav.mos.ru
ORCID iD: 0000-0002-1786-4329
мл. науч. сотр. отдела медицинской информатики, радиомики и радиогеномики
Россия, 127051, г. Москва, ул. Петровка, 24–1Юрий Александрович Васильев
ГБУЗ города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»
Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
канд. мед. наук, директор
Россия, 127051, г. Москва, ул. Петровка, 24–1Екатерина Сергеевна Ахмад
ГБУЗ города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»
Email: AkhmadES@zdrav.mos.ru
ORCID iD: 0000-0002-8235-9361
науч. сотр. сектора клинических и технических испытаний
Россия, 127051, г. Москва, ул. Петровка, 24–1Кирилл Михайлович Арзамасов
ГБУЗ города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»
Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
канд. мед. наук, руководитель отдела медицинской информатики, радиомики и радиогеномики
Россия, 127051, г. Москва, ул. Петровка, 24–1Список литературы
- Bray F, Laversanne M, Sung H, Ferlay J, Siegel RL, Soerjomataram I, Jemal A. Global cancer statistics 2022: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries. CA Cancer J Clin. 2024;74(3):229–263. doi: 10.3322/caac.21834.
- Ren W, Chen M, Qiao Y, Zhao F. Global guidelines for breast cancer screening: A systematic review. Breast. 2022;64:85–99. doi: 10.1016/ j.breast.2022.04.003.
- Васильев ЮА, Тыров ИА, Владзимирский АВ, Арзамасов КМ, Шулькин ИМ, Кожихина ДД, Пестренин ЛД. Двойной просмотр результатов маммографии с применением технологий искусственного интеллекта: новая модель организации массовых профилактических исследований. Digital Diagnostics. 2023;4(2):93–104. doi: 10.17816/DD321423.
- D'Orsi CJ. The American College of Radiology mammography lexicon: An initial attempt to standardize terminology. AJR Am J Roentgenol. 1996;166(4):779–780. doi: 10.2214/ajr.166.4.8610548.
- Liberman L, Menell JH. Breast imaging reporting and data system (BI-RADS). Radiol Clin North Am. 2002;40(3):409–430, v. doi: 10.1016/s0033-8389(01)00017-3.
- Venkatesan A, Chu P, Kerlikowske K, Sickles EA, Smith-Bindman R. Positive predictive value of specific mammographic findings according to reader and patient variables. Radiology. 2009;250(3):648–657. doi: 10.1148/radiol.2503080541.
- Liberman L, Abramson AF, Squires FB, Glassman JR, Morris EA, Dershaw DD. The breast imaging reporting and data system: Positive predictive value of mammographic features and final assessment categories. AJR Am J Roentgenol. 1998;171(1):35–40. doi: 10.2214/ajr.171.1.9648759.
- Bent CK, Bassett LW, D'Orsi CJ, Sayre JW. The positive predictive value of BI-RADS microcalcification descriptors and final assessment categories. AJR Am J Roentgenol. 2010;194(5):1378–1383. doi: 10.2214/AJR.09.3423.
- Leung JW, Sickles EA. Developing asymmetry identified on mammography: Correlation with imaging outcome and pathologic findings. AJR Am J Roentgenol. 2007;188(3):667–675. doi: 10.2214/AJR.06.0413.
- Васильев ЮА, Владзимирский АВ, Арзамасов КМ, Шулькин ИМ, Аксенова ЛЕ, Пестренин ЛД, Семенов СС, Бондарчук ДВ, Смирнов ИВ. Первые 10 000 маммографических исследований, выполненных в рамках услуги «Описание и интерпретация данных маммографического исследования с использованием искусственного интеллекта». Менеджер здравоохранения. 2023;(8):54–67. doi: 10.21045/1811-0185-2023-8-54-67.
- Beam CA, Conant EF, Sickles EA. Factors affecting radiologist inconsistency in screening mammography. Acad Radiol. 2002;9(5):531–540. doi: 10.1016/s1076-6332(03)80330-6.
- Lee AY, Wisner DJ, Aminololama-Shakeri S, Arasu VA, Feig SA, Hargreaves J, Ojeda-Fournier H, Bassett LW, Wells CJ, De Guzman J, Flowers CI, Campbell JE, Elson SL, Retallack H, Joe BN. Inter-reader variability in the use of BI-RADS descriptors for suspicious findings on diagnostic mammography: A multi-institution study of 10 academic radiologists. Acad Radiol. 2017;24(1):60–66. doi: 10.1016/ j.acra.2016.09.010.
- Barlow WE, Chi C, Carney PA, Taplin SH, D'Orsi C, Cutter G, Hendrick RE, Elmore JG. Accuracy of screening mammography interpretation by characteristics of radiologists. J Natl Cancer Inst. 2004;96(24):1840–1850. doi: 10.1093/jnci/djh333.
- Carney PA, Elmore JG, Abraham LA, Gerrity MS, Hendrick RE, Taplin SH, Barlow WE, Cutter GR, Poplack SP, D'Orsi CJ. Radiologist uncertainty and the interpretation of screening. Med Decis Making. 2004;24(3):255–264. doi: 10.1177/0272989X04265480.
- Elmore JG, Jackson SL, Abraham L, Miglioretti DL, Carney PA, Geller BM, Yankaskas BC, Kerlikowske K, Onega T, Rosenberg RD, Sickles EA, Buist DS. Variability in interpretive performance at screening mammography and radiologists' characteristics associated with accuracy. Radiology. 2009;253(3):641–651. doi: 10.1148/radiol.2533082308.
- Reed WM, Lee WB, Cawson JN, Brennan PC. Malignancy detection in digital mammograms: Important reader characteristics and required case numbers. Acad Radiol. 2010;17(11):1409–1413. doi: 10.1016/j.acra.2010.06.016.
- Carney PA, Cook AJ, Miglioretti DL, Feig SA, Bowles EA, Geller BM, Kerlikowske K, Kettler M, Onega T, Elmore JG. Use of clinical history affects accuracy of interpretive performance of screening mammography. J Clin Epidemiol. 2012;65(2):219–230. doi: 10.1016/j.jclinepi.2011.06.010.
- Kim SH, Lee EH, Jun JK, Kim YM, Chang YW, Lee JH, Kim HW, Choi EJ; Alliance for Breast Cancer Screening in Korea (ABCS-K). Interpretive performance and inter-observer agreement on digital mammography test sets. Korean J Radiol. 2019;20(2):218–224. doi: 10.3348/kjr.2018.0193.
- Winkel RR, von Euler-Chelpin M, Nielsen M, Diao P, Nielsen MB, Uldall WY, Vejborg I. Inter-observer agreement according to three methods of evaluating mammographic density and parenchymal pattern in a case control study: Impact on relative risk of breast cancer. BMC Cancer. 2015;15:274. doi: 10.1186/s12885-015-1256-3.
- Timmers JM, Verbeek AL, Pijnappel RM, Broeders MJ, den Heeten GJ. Experiences with a self-test for Dutch breast screening radiologists: Lessons learnt. Eur Radiol. 2014;24(2):294–304. doi: 10.1007/s00330-013-3018-4.
- Redondo A, Comas M, Macià F, Ferrer F, Murta-Nascimento C, Maristany MT, Molins E, Sala M, Castells X. Inter- and intraradiologist variability in the BI-RADS assessment and breast density categories for screening mammograms. Br J Radiol. 2012;85(1019):1465–1470. doi: 10.1259/bjr/21256379.
- Kerlikowske K, Grady D, Barclay J, Frankel SD, Ominsky SH, Sickles EA, Ernster V. Variability and accuracy in mammographic interpretation using the American College of Radiology Breast Imaging Reporting and Data System. J Natl Cancer Inst. 1998;90(23):1801–1809. doi: 10.1093/jnci/90.23.1801.
- Brady AP. Error and discrepancy in radiology: Inevitable or avoidable? Insights Imaging. 2017;8(1):171–182. doi: 10.1007/s13244-016-0534-1.1.
- Benchoufi M, Matzner-Lober E, Molinari N, Jannot AS, Soyer P. Interobserver agreement issues in radiology. Diagn Interv Imaging. 2020;101(10):639–641. doi: 10.1016/ j.diii.2020.09.001.
- Müller R, Büttner P. A critical discussion of intraclass correlation coefficients. Stat Med. 1994;13(23–24):2465–2476. doi: 10.1002/sim.4780132310.
- McGraw KO, Wong SP. Forming inferences about some intraclass correlation coefficients. Psychol Methods. 1996;1(1):30–46. doi: 10.1037/1082-989X.1.1.30.
- Taplin SH, Ichikawa LE, Kerlikowske K, Ernster VL, Rosenberg RD, Yankaskas BC, Carney PA, Geller BM, Urban N, Dignan MB, Barlow WE, Ballard-Barbash R, Sickles EA. Concordance of breast imaging reporting and data system assessments and management recommendations in screening mammography. Radiology. 2002;222(2):529–535. doi: 10.1148/radiol.2222010647.
- Bonett DG. Sample size requirements for estimating intraclass correlations with desired precision. Stat Med. 2002;21(9):1331–1335. doi: 10.1002/sim.1108.
- Trieu PDY, Mello-Thoms CR, Barron ML, Lewis SJ. Look how far we have come: BREAST cancer detection education on the international stage. Front Oncol. 2023;12:1023714. doi: 10.3389/fonc.2022.1023714.
- Burnside ES, Sickles EA, Bassett LW, Rubin DL, Lee CH, Ikeda DM, Mendelson EB, Wilcox PA, Butler PF, D'Orsi CJ. The ACR BI-RADS experience: learning from history. J Am Coll Radiol. 2009;6(12):851–860. doi: 10.1016/ j.jacr.2009.07.023.
Дополнительные файлы
