Разработка и валидация анкеты для выявления факторов риска суставного синдрома и связанных с ним состояний с использованием визуализации – АРТРОВИЗ

Обложка


Цитировать

Полный текст

Аннотация

Обоснование. Важность своевременной диагностики ревматических заболеваний не вызывает сомнения. Однако в реальной практике время от появления первых симптомов до ревматологического обследования и назначения лечения часто превышает «окно возможностей» в контроле болезни. На данный момент не существует русскоязычного опросника, который позволял бы врачу первичного звена здравоохранения заподозрить наличие ревматического заболевания, дебютирующего с суставного синдрома.

Цель – разработка, валидация и апробация опросника-самоотчета для выявления факторов риска суставной патологии и связанных с этим состояний.

Материал и методы. На базе Медицинского научно-образовательного центра ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова» (МГУ им. М.В. Ломоносова) в период с ноября 2022 по апрель 2024 г. проведено исследование разработанного в МГУ им. М.В. Ломоносова опросника «Анкета для выявления фактоРов риска сусТавного синдРОма и связанных с ним состояний с использованием ВИЗуализации» (АРТРОВИЗ), направленного на раннее выявление как суставного синдрома, так и связанных с ним коморбидных состояний, ассоциированных с повышенным уровнем мочевой кислоты (гиперурикемией) в сыворотке крови. Первоначальную тест-версию опросника проверяли в фокус-группе респондентов (n = 20), пришедших на диспансеризацию. По результатам оценки лицевой валидности тест-версии опросника внесены первичные исправления в формулировки 10 вопросов. На втором этапе оценивали первичную валидность и надежность опросника в группе пациентов (n = 41), наблюдавшихся у врача-ревматолога. На третьем этапе в опросе участвовали 828 респондентов (408 мужчин и 420 женщин, медиана возраста – 19 [18,0; 20,0] лет; 21% имели суставной синдром), проходивших плановую диспансеризацию. В итоговую обработку включено 827 анкет (одна исключена из-за дефектов заполнения). Оценивали надежность, лицевую и дискриминативную валидность, чувствительность и специфичность опросника (метод ROC-кривых).

Результаты. Опросник для самостоятельного заполнения пациентами АРТРОВИЗ включает 24 вопроса, нацеленных на сбор социально-демографических данных, определение факторов риска неинфекционных заболеваний, оценку наследственности пациента, выявление жалоб со стороны различных систем организма, получение сведений о приеме лекарственных препаратов (нестероидные противовоспалительные препараты, диуретики, гипотензивные препараты, глюкокортикостероиды, химиотерапевтические средства и лучевая терапия), а также дополнительный вопрос для женщин – о патологически протекающей беременности. Наличие в анкете визуального ряда (цветные фотоиллюстрации) позволяет заподозрить у пациента клинические признаки аутоиммунного (псориатический артрит, псориаз, синдром Рейно) и воспалительного ревматического заболевания (подагра), а также провести дифференциальную диагностику суставного синдрома.

При оценке лицевой валидности количество пропущенных ответов на всем массиве анкеты составило 3,42%, полностью на все вопросы ответили 62,85% респондентов. Получена хорошая дискриминативная валидность опросника. ROC-анализ показал высокое соответствие между результатом анкетирования и наличием суставного синдрома: площадь под кривой (AUC) равнялась 0,884. Коэффициент α Кронбаха составил 0,798, что достаточно для медицинского опросника.

Заключение. Проведена апробация и стандартизация анкеты по выявлению факторов риска суставного синдрома и связанных с ним сопутствующих состояний посредством оценки ее валидности и надежности. Опросник АРТРОВИЗ как шкала самоотчета может найти применение в первичном звене здравоохранения как инструмент, помогающий врачам общей практики и терапевтам определить дальнейшую маршрутизацию пациентов к соответствующим специалистам.

Полный текст

Важность своевременной диагностики ревматических заболеваний не вызывает сомнения, однако нередко от момента обращения пациента за медицинской помощью до осмотра ревматологом и начала лечения проходит значительное время [1–5]. Во многих странах мира краеугольным камнем системы здравоохранения признано качество медицинской помощи и уделяется большое внимание оценке его компонентов [1, 6–9]. Взаимодействие между врачом первичного звена и узким специалистом – ключевая организационная особенность многих моделей систем здравоохранения, которая играет решающую роль в обеспечении качественной медицинской помощи1 [8, 10]. Залогом успешного лечения пациентов ревматологического профиля считается максимально раннее выявление признаков заболевания. Это позволяет уложиться в «окно возможностей», то есть в короткий промежуток времени между началом болезни и шансом установления контроля над ней – до того, как наступят необратимые изменения [1, 3, 7, 8]. Своевременное направление пациента с подозрением на ревматическое заболевание от врача общей практики к врачу-ревматологу имеет значение не только для самого пациента, но и для лечебного учреждения, а также для всей системы медицинской помощи в целом, поскольку позволяет регулировать расходы на здравоохранение [1, 8].

На фоне неуклонного роста заболеваемости ревматическими болезнями такие факторы, как дефицит врачей-ревматологов, низкая обращаемость пациентов к ревматологам вследствие удаленности места жительства от специализированных медицинских центров и ненадлежащий уровень подготовки врачей первичного звена в области ревматологии, приводят к серьезным дефектам диагностики и закрытию «окна возможностей» в контроле ревматических заболеваний [6, 11–13]. Международный опыт показывает, что решить эти проблемы можно путем усовершенствования первичной диагностики, организации амбулаторно-консультативных служб ранней диагностики ревматических заболеваний, разработки специализированных диагностических анкет, позволяющих в кратчайшие сроки определить маршрутизацию пациентов с подозрением на ревматические заболевания [3, 7, 8]. Для выявления пациентов с суставным синдромом в дебюте воспалительного артрита разрабатываются различные скрининговые стратегии, включая использование опросников, в том числе заполняемых самостоятельно [3, 5, 7].

На данный момент не существует русскоязычного опросника, позволяющего врачу общей практики на первичном приеме одномоментно заподозрить наличие ревматического заболевания, собрать в единое целое большую часть анамнеза пациента, обратившегося с суставным синдромом, проанализировать наследственность и принимаемые лекарственные препараты и при необходимости экстренно направить больного к врачу-ревматологу.

Цель работы – разработка, валидация и апробация опросника-самоотчета для выявления факторов риска суставной патологии и связанных с этим состояний.

Материал и методы

В исследование включены взрослые пациенты, наблюдавшиеся в Медицинском научно-образовательном центре ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова» (МНОЦ МГУ им. М.В. Ломоносова). После подписания информированного согласия в опросе участвовали 889 респондентов (440 мужчин и 449 женщин, медиана возраста – 47,5 лет), наблюдавшихся в МНОЦ МГУ им. М.В. Ломоносова, заполнивших анкету по выявлению факторов риска суставной патологии (приложение) в процессе прохождения плановой диспансеризации. Опросник заполнялся как в бумажном варианте, так и в электронной форме – с использованием терминала «Здоровье». Исследование одобрено этическим комитетом МНОЦ МГУ им. М.В. Ломоносова (протокол № 8/20 от 18.10.2022).

Исследование проводили в несколько этапов в период с ноября 2022 по апрель 2024 г. На первом этапе осуществляли культурную адаптацию опросника. Проведено интервьюирование 20 пациентов для выявления пожеланий по более корректной и точной формулировке вопросов. Процент пропуска ответов на вопросы позволил оценить уровень их доступности для понимания. На втором этапе оценивали первичную валидность и надежность опросника в группе из 41 пациента, регулярно наблюдавшегося у врача-ревматолога; по результатам исследования в формулировки вопросов были внесены изменения. На третьем этапе анализировали анкеты, заполненные 828 пациентами (408 мужчин и 420 женщин, медиана возраста – 19 [18, 0; 20, 0] лет), проходившими диспансеризацию, с целью оценки валидации и стандартизации измененной версии опросника, определения удобства его использования как в бумажном, так и в электронном формате и апробации его в реальных клинических условиях.

Описание опросника

В работе использовали опросник «Анкета для выявления фактоРов риска сусТавного синдРОма и связанных с ним состояний с использованием ВИЗуализации» (АРТРОВИЗ) (см. приложение), направленный на раннее выявление как суставного синдрома, так и связанных с ним коморбидных состояний, ассоциированных с повышенным уровнем мочевой кислоты (гиперурикемией) в сыворотке крови.

Анкетная форма включала 24 вопроса, нацеленных на сбор социально-демографических данных, определение факторов риска неинфекционных заболеваний, оценку наследственности пациента, выявление жалоб со стороны различных систем организма, получение сведений о приеме лекарственных препаратов (нестероидные противовоспалительные препараты, диуретики, гипотензивные препараты, глюкокортикостероиды, химиотерапевтические средства и лучевая терапия), а также специальный вопрос для женщин – о патологически протекающей беременности. Наличие в анкете визуального ряда, представленного в форме оригинальных цветных фотоиллюстраций, позволяло заподозрить у пациента клинические признаки аутоиммунного (псориатический артрит, псориаз, синдром Рейно) и воспалительного ревматического заболевания (подагра), а также провести дифференциальную диагностику суставного синдрома.

Вопросы № 3, 5, 11–17, 19–24 оценивали по 33 подпунктам суммарно. Для этого ответам на подпункты присвоили баллы от 0 до 2 и вычислили сумму для каждого опрошенного. Из этих вопросов 3 посвящены оценке факторов риска, 20 – симптомам, 3 – лабораторным анализам, 7 – анамнезу и принимаемым лекарственным средствам.

Методы стандартизации опросника (оценка надежности, валидности, чувствительности)

Для данного опросника оценивали внутреннюю согласованность, определяли дискриминативную валидность (вид конструктной валидности, показывающей, что тест не измеряет никакой черты, с которой теоретически не должен быть связан) и лицевую валидность (оценивает, насколько хорошо респондент понимает конкретные вопросы теста и его назначение). Рассчитывали также чувствительность и специфичность опросника.

Лицевую валидность оценивали, вычисляя процент пропущенных данных как во всем массиве полученных данных, так и по каждому из вопросов анкеты [14]. Подсчитывали количество респондентов, сумевших заполнить анкету на 100%. Дискриминативную валидность определяли путем установления связи между баллом по опроснику и параметрами, которые опросник выявлять не должен. Анализ надежности выполняли с помощью оценки внутреннего постоянства, измеряя коэффициент внутренней согласованности, или коэффициент α Кронбаха. Определение чувствительности и специфичности опросника, а также выбор порогового значения проводили методом ROC-кривых (англ. receiver operating characteristic – рабочая характеристика приемника).

Статистический анализ

Статистический анализ выполнен с использованием программного обеспечения Statistica 10.0 и IBM SPSS Statistics 27. Данные представлены в виде количества наблюдений, медианы (Me) и интерквартильного размаха [Q1; Q3] при условии ненормального распределения. Проверку нормальности распределения исследуемых выборок осуществляли при помощи критерия Шапиро – Уилка. При сравнении двух групп применяли критерий Манна – Уитни (распределение отличалось от нормального). Для оценки связи между показателями использовали корреляцию Пирсона для групп с нормальным распределением и корреляцию Спирмена для групп с ненормальным распределением или для сравнения ранговых данных с количественными. Корреляционную связь рассматривали как очень слабую при коэффициенте корреляции (r) от 0 до 0,25, слабую – при r от 0,3 до 0,5, среднюю – при r от 0,5 до 0,75, высокую – при r от 0,75 до 0,9, очень высокую – при r от 0,9 до 1. Различия между сравниваемыми группами признавали статистически значимыми при уровне p < 0,05. При оценке площади под ROC-кривой (англ. area under the curve, AUC) считали, что тест не способен различать здоровых пациентов и пациентов с заболеванием, если она равна 0,5; AUC в диапазоне от 0,7 до 0,8 считали достаточной, от 0,8 до 0,9 – высоким показателем, более 0,9 – очень высоким [15–17].

Результаты

Общая характеристика выборки

Первоначальную тест-версию опросника проверяли в фокус-группе респондентов (n = 20; 11 женщин и 9 мужчин, возраст от 27 до 77 лет, медиана возраста – 59,5 [39, 0; 65, 0] лет), пришедших на диспансеризацию. Во время оценки лицевой валидности тест-версии опросника респондентов просили указать сложные для понимания вопросы; по результатам проверки были внесены первичные исправления в формулировки 10 вопросов тест-версии опросника.

На втором этапе исследования анкету заполнял 41 респондент в возрасте от 22 до 82 лет (распределение по возрасту ненормальное: p < 0,05, критерий Шапиро – Уилка; медиана возраста – 62 [45, 0; 71, 0] года), в том числе 12 мужчин и 29 женщин. Респонденты из этой группы регулярно наблюдались у врача-ревматолога с различными ревматологическими диагнозами.

На третьем этапе в опросе участвовали 828 респондентов, проходивших плановую диспансеризацию: 408 мужчин и 420 женщин, медиана возраста – 19 [18, 0; 20, 0] лет, минимальный возраст – 18 лет, максимальный – 87 лет (распределение по возрасту ненормальное: p < 0,05, критерий Шапиро – Уилка). Среди этой группы респондентов 21% имел суставной синдром (пациенты отвечали утвердительно на вопросы о наличии боли в суставах и/или скованности).

Оценка лицевой валидности

После апробации опросника, проведенной на 61 анкете (пациенты, участвовавшие в опросе на первом и втором этапах), выполнили повторную проверку лицевой валидности, по результатам которой сделан вывод о понятности анкеты респондентам и отсутствии трудностей при ее заполнении. На данном этапе также контролировали время, необходимое для понимания и заполнения анкеты. Медиана времени заполнения опросника составила 10 [8, 0; 10, 5] минут (p = 0,00148, критерий Шапиро – Уилка), минимальное время – 2 минуты, максимальное – 22 минуты.

На выборке из 827 посетителей поликлиники МНОЦ МГУ им. М.В. Ломоносова, пришедших на диспансеризацию и заполнивших анкету, оценено общее количество пропущенных ответов. На всем массиве данных оно составило 3,39%, на все вопросы анкеты ответили 62,12% респондентов.

Оценка дискриминативной валидности

Выбраны 2 показателя – пол и уровень образования, при оценке которых мы предполагали установить отсутствие связи между баллом за опросник и ответом на соответствующий вопрос анкеты. Для оценки дискриминативной валидности пациенты были разделены на 2 группы: мужчины (n = 419) и женщины (n = 408). Получено ненормальное распределение балла за тест (p < 0,05, критерий Шапиро – Уилка). Для оценки этого типа валидности использовали сумму баллов без учета дополнительного вопроса для женщин. Как видно на рис. 1, в выборках мужчин и женщин была одинаковая медиана балла, однако генеральные совокупности отличались (р = 0,000083, критерий Манна – Уитни).

 

Рис. 1. Средние значения баллов за опросник среди мужчин (n = 408) и женщин (n = 420); специальный вопрос для женщин о патологически протекающей беременности исключен; р = 0,000083

 

Для оценки связи между уровнем образования и баллом выбран ранговый коэффициент корреляции Спирмена, при этом уровню образования присвоены следующие ранги: 1 – среднее образование, 2 – среднее специальное, 3 – высшее, 4 – имеется степень кандидата наук, 5 – имеется степень доктора наук. Количество исследуемых пар – 827 (1 анкета была исключена из анализа в связи с пропуском данных при заполнении графы «Образование»). В результате анализа (рис. 2) установлена слабая связь между исследуемыми признаками (r = 0,157203, р < 0,05).

 

Рис. 2. Корреляция между уровнем образования и итоговым баллом в опроснике (r = 0,157203, р = 0,000006); на графике рассеяния отображен 95% доверительный интервал; 1-й уровень – среднее образование, 2-й – среднее специальное, 3-й – высшее, 4-й – имеется степень кандидата наук, 5-й – имеется степень доктора наук

 

Чтобы исключить влияние возраста на уровень образования, дополнительно построили двухфакторную линейную модель, куда в качестве предикторов включили уровень образования и возраст респондентов, то есть был оценен эффект уровня образования, скорректированный на эффект возраста. Получены следующие данные: коэффициент корреляции R = 0,276, R2 = 0,076, скорректированный R2 = 0,074, F = 34,035, p < 0,001, стандартная ошибка оценки 3,520. Коэффициент β для уровня образования равен -0,089 (95% доверительный интервал: от -0,472 до 1,676) при р > 0,05, что можно интерпретировать как отсутствие ассоциации между уровнем образования и итоговым баллом за тест после корректировки на возраст респондентов (табл. 1).

 

Таблица 1. Коэффициент β, 95% доверительный интервал, значение р для уровня образования и возраста при построении однофакторной и двухфакторной линейной регрессии

Предиктор

Коэффициент β (нестандартизированный)

95% доверительный интервал

t

Значение р

Нескорректированные коэффициенты (однофакторный анализ)

Уровень образования

0,758

0,478–1,038

5,321

< 0,001

Возраст

0,088

0,067–0,109

8,429

< 0,001

Скорректированные коэффициенты (двухфакторный анализ)

Уровень образования

-0,089

-0,472–1,676

-0,457170

0,647669

Возраст

0,093

0,064–0,122

6,202635

< 0,001

 

Таким образом, не обнаружено значимой связи между баллом за проводимое анкетирование и уровнем образования, как и связи между баллом за опросник и полом пациентов. Данный результат демонстрирует хорошую дискриминативную валидность анкеты.

Определение надежности анкеты

Рассчитана внутренняя согласованность анкеты по формуле α Кронбаха (табл. 2). Для нашей анкеты значение коэффициента составило 0,798, что считается достаточным результатом, особенно для медицинских опросников. Все вопросы имели положительный показатель дискриминативности, что отображало хорошую согласованность вопросов друг с другом.

 

Таблица 2. Значение коэффициента α Кронбаха при удалении пунктов опросника и показатель дискриминативности для каждого вопроса

Краткая формулировка вопроса

Дискриминативность

Значение α Кронбаха при ступенчатом удалении вопросов

Количество сигарет

0,1495762

0,7991379

Частота употребления алкоголя

0,1830128

0,7974712

Физические нагрузки

0,1537414

0,7979053

Головокружения или головные боли

0,4200732

0,7866926

Уменьшение роста

0,1038907

0,797926

Патологические переломы

0,1572829

0,7973103

Артериальное давление более 130/80 мм рт. ст.

0,4330274

0,7859562

Мушки перед глазами

0,5058362

0,7813564

Одышка

0,5052745

0,7815585

Нарушения ритма сердца

0,4426961

0,7855177

Боль за грудиной

0,4787484

0,7835695

Боль в поясничной области

0,3460399

0,7907018

Красная моча

0,1113372

0,7979601

Плохой аппетит

0,3083999

0,7921789

Слабость

0,5437446

0,778461

Кожный зуд

0,3982662

0,7878565

Постоянная жажда

0,4440221

0,785952

Боль в суставах

0,4617138

0,7845804

Скованность в суставах

0,3876773

0,7889416

Побеление кистей

0,2690954

0,7942169

Неровности на ногтях

0,2347424

0,7949511

Высыпания

0,1408375

0,7974047

Припухлость суставов

0,2302563

0,7959096

Повышение уровня мочевой кислоты

0,1461614

0,7973008

Повышение ревматоидного фактора

0,1788521

0,7965485

Повышение уровня глюкозы

0,2188428

0,7954229

Сосудистые катастрофы

0,1928248

0,7966732

Обезболивание

0,1468361

0,7972898

Гипотензивные препараты

0,2074336

0,7961443

Мочегонные препараты

0,1494117

0,7971724

Лучевая терапия

0,01359987

0,7987722

Стероидные препараты

0,134483

0,7975488

Патологическая беременность

0,08740491

0,7981728

Значение α Кронбаха для всей анкеты – 0,797881; жирным шрифтом выделены значения α Кронбаха, которые возрастут при удалении вопросов

 

Определение чувствительности и специфичности

Для оценки чувствительности и специфичности опросника, а также для выбора порогового значения, позволяющего определить наличие суставного синдрома или повышенный риск его развития и направить пациента на дальнейшую консультацию к врачу-ревматологу, использовали ROC-анализ.

Поскольку на данный момент не существует признанного «золотого стандарта» диагностики суставного синдрома, единственным вариантом для анализа чувствительности и специфичности представляется сравнение балла за опросник с заключением узкого специалиста. Для данного этапа работы была отобрана группа пациентов (n = 35), наблюдавшихся у врача-ревматолога по поводу ревматического заболевания с суставным синдромом. Распределение пациентов по возрасту ненормальное (p < 0,05, критерий Шапиро – Уилка), медиана возраста – 61 [45, 0; 69, 0] год, минимальный возраст – 26 лет, максимальный – 82 года.

Из числа пациентов, пришедших на плановую диспансеризацию, была набрана контрольная группа (n = 35), соответствовавшая по возрасту больным ревматическими заболеваниями. Критерием невключения в контрольную группу служили положительные ответы на вопросы о повышении уровня мочевой кислоты и ревматоидного фактора. Распределение пациентов контрольной группы по возрасту ненормальное (p < 0,05, критерий Шапиро – Уилка), медиана возраста составила 62 [45, 0; 69, 0] года, минимальный возраст – 26 лет, максимальный – 81 год.

Проведен ROC-анализ для оценки согласованности между двумя методами выявления суставного синдрома (суммой баллов за тест и наличием ревматологического диагноза). При построении ROC-кривой установлено высокое соответствие между результатом анкетирования и наличием ревматического заболевания: AUC составила 0,884 (рис. 3).

 

Рис. 3. ROC-кривая анкеты и наличия ревматологического диагноза у пациента; AUC = 0,884

 

На следующем этапе необходимо было выбрать пороговое значение для опросника (количество баллов, набранных при прохождении анкетирования, разделяющее положительный и отрицательный результаты), позволяющее заподозрить повышенный риск развития суставного синдрома или установить его наличие. Рассчитаны чувствительность и специфичность для каждого значения порогового балла. Наиболее подходящими по суммарному показателю чувствительности и специфичности оказались значения ≥ 7,5, 9,5, 10,5 и 12,5 балла (табл. 3). Для нашего теста оптимальной была отсечка в 10 баллов, которая позволяет заподозрить у пациента суставной синдром и направить его к врачу-ревматологу.

 

Таблица 3. Чувствительность и специфичность опросника для группы пациентов с ревматологическим диагнозом (n = 35) и контрольной группы (n = 35)

Балл

Чувствительность

Специфичность

Сумма чувствительности и специфичности

1 - cпецифичность

6,5

0,971

0,571

1,542

0,429

7,5

0,914

0,657

1,571

0,343

8,5

0,857

0,686

1,543

0,314

9,5

0,857

0,714

1,571

0,286

10,5

0,800

0,743

1,543

0,257

12,5

0,629

0,914

1,543

0,086

 

Обсуждение

В 2018 г. в Российской Федерации проведено масштабное эпидемиологическое исследование распространенности ревматических заболеваний, основанное на методе анкетирования и последующем осмотре выделенного контингента пациентов специалистом-ревматологом [18]. Данное исследование показало высокую распространенность в России патологии суставов, которая часто возникает у людей трудоспособного возраста и быстро приводит к формированию выраженных функциональных нарушений, психологических проблем и социальных ограничений, что отрицательно влияет на качество жизни пациентов.

В настоящее время в методических рекомендациях о проведении профилактических осмотров1, приказе Минздрава России № 404н2 отсутствуют опросники для выявления ряда состояний и факторов риска, в том числе суставного синдрома [19]. Результаты опубликованных исследований и клиническая практика подтверждают необходимость ранней диагностики и лечения для уменьшения бремени ревматических заболеваний, протекающих в том числе с суставным синдромом [1, 3, 7, 18]. При анализе данных 10 европейских центров установлено: медиана задержки оказания помощи – времени от проявления первых симптомов до ревматологического обследования – составляет 6 месяцев, при этом доля обратившихся к врачу в течение 3 месяцев после возникновения первых признаков заболевания колеблется от 8 до 42% [20]. Согласно результатам эпидемиологического исследования, в ходе которого проводилось скрининговое анкетирование взрослых жителей 12 регионов Российской Федерации и последующее клиническое обследование пациентов с суставными жалобами, дефекты диагностики и регистрации ревматических заболеваний характерны и для России [18].

Использование анкет для первичной диагностики ревматических заболеваний – весьма распространенная практика [3, 5, 21, 22]. Существуют различные варианты опросников: анкеты, предназначенные для самостоятельного заполнения пациентом (их используют в целях первоначальной диагностики ревматических болезней) [3, 21], а также анкеты для врачей. В частности, опросник, разработанный для скрининга на ревматоидный и псориатический артриты, включает 11 вопросов, касающихся симптомов ревматических заболеваний с поражением суставов (отек, скованность, характеристика боли), описания их функциональной недостаточности, данных семейного анамнеза, и может быть заполнен в промежуток от 6 до 52 недель от момента появления первых признаков болезни [21]. В другом опроснике, нацеленном на выявление пациентов с ранним, ревматоидным и псориатическим артритами, использован схожий с нашим алгоритм подсчета баллов, но количество вопросов меньше (12), и его рекомендовано применять только врачам-ревматологам [23]. Разработана компьютерная программа для диагностики артрита с использованием контроллера нечеткой логики (англ. fuzzy logic controller), представляющего пример успешного применения теории нечеткой логики Лотфи Заде [24]. В основу программы положен опросник, состоящий из 9 пунктов (6 из них определяют клинические симптомы, 3 пункта базируются на результатах лабораторных исследований – значениях ревматоидного фактора, антицитруллинированных антител и скорости оседания эритроцитов). Программа создана для пациентов и врачей первичного звена с целью разработки системы диагностики артрита и оценки его тяжести, а также для принятия решения о необходимости специализированной медицинской помощи [24].

Для решения проблемы задержки первичной диагностики пациентов (от момента появления симптомов до оказания первичной медицинской помощи) нами разработан, стандартизован и валидирован принципиально новый опросник в формате заполняемой пациентом анкеты, которая позволяет определять наличие факторов риска суставного синдрома и связанных с ним сопутствующих состояний (подагра, ожирение, гипертоническая болезнь, сахарный диабет, мочекаменная болезнь, онкологические заболевания), ассоциированных с повышением уровня мочевой кислоты (гиперурикемией), – АРТРОВИЗ. Разработанная нами анкета АРТРОВИЗ включает 24 вопроса (плюс дополнительный вопрос для женщин – о патологически протекающей беременности), описывающих факторы риска (курение, употребление алкоголя, сладких газированных напитков), индекс массы тела, физическую активность, различные аспекты суставного синдрома (боль и скованность) с определением пораженных суставов, семейный анамнез. В анкете анализируется информация о принимаемой медикаментозной терапии, лабораторных параметрах (уровни мочевой кислоты, ревматоидного фактора и глюкозы). Оценка выраженности суставного синдрома позволяет уже на этапе самодиагностики или на первичном приеме врача общей практики / терапевта охарактеризовать степень функциональной недостаточности суставов. Благодаря включенному в анкету визуальному ряду можно проводить дифференциальную диагностику псориатического артрита, подагры и синдрома Рейно.

Отдельную ценность нашей работы представляет созданная при использовании анкеты АРТРОВИЗ база данных пациентов, на которую получено свидетельство № 2024622867 от 02.07.2024, регистрационный № 77-17007700. База данных содержит результаты опроса пациентов по раннему выявлению признаков суставного синдрома как при метаболических и воспалительных артритах, так и при связанных с ними сопутствующих заболеваниях, ассоциированных с гиперурикемией, и включает 227 столбцов, характеризующих каждого внесенного в базу пациента. На момент регистрации включено 1172 записи, предусматривается ее дальнейшее пополнение.

Заключение

В ходе исследования проведена апробация и стандартизация анкеты по выявлению факторов риска суставного синдрома и связанных с ним сопутствующих состояний посредством оценки ее валидности и надежности. Коэффициент α Кронбаха составил 0,798, что достаточно для медицинских опросников. Анкета может использоваться как для самодиагностики, так и во время приема врача общей практики, что позволяет сократить время на общие вопросы и сконцентрироваться на детальном расспросе и осмотре пациента. Это, в свою очередь, дает возможность в кратчайшие сроки определиться с протоколом дифференциального поиска, сократить время до оказания первичной помощи, разработать алгоритм адекватной маршрутизации пациента к врачу-ревматологу. Анкета АРТРОВИЗ представляет собой универсальный инструмент, может применяться как в процессе клинической работы, так и в научных исследованиях.

Приложение

Университетская клиника Московского государственного университета им. М.В. Ломоносова

Анкета по выявлению факторов риска суставного синдрома и связанных с ним сопутствующих состояний

Цель анкеты: улучшить выявление факторов риска, приводящих к развитию суставного синдрома, сопровождающего воспалительные и метаболические болезни суставов, заболевания сердечно-сосудистой, пищеварительной, выделительной и эндокринной систем.

Определение факторов риска, а также выявление заболеваний на ранних стадиях позволяют в кратчайшие сроки подобрать индивидуальный план коррекции факторов риска и маршрутизировать Вас к необходимому специалисту.

Просим Вас ответить на поставленные вопросы, не пропуская ни одного. В каждом вопросе выберите только один вариант ответа. Заранее благодарим Вас за уделенное время.

Дата анкетирования (день, месяц, год): ______________________

Пол:  мужской  женский

Раса:  европеоидная  монголоидная  негроидная

Дата рождения ___ / ___ /___ Количество полных лет _______

Ваш рост: _________________ см Ваш вес: ____________ кг

  1. Образование:

 среднее  среднее специальное  высшее  кандидат наук  доктор наук

  1. Семейное положение:

 холост / не замужем  женат / замужем, в том числе гражданский брак

 в разводе  вдовец / вдова

  1. Вы курите?

 Не курю  Курил(а) в прошлом

 Курю < 10 сигарет в день  Курю 10–19 сигарет в день  Курю > 20 сигарет в день

  1. Сколько лет курите / курили в прошлом? ____________________
  2. Как часто употребляете алкогольные напитки?

 Никогда  ≤ 1 раз в месяц  2–4 раза в месяц  2–3 раза в неделю  ≥ 4 раза в неделю

  1. Сколько порций алкогольных напитков выпиваете обычно за 1 раз?

(1 порция равна 12 мл чистого этанола, или 30 мл крепкого алкоголя (водки), или 100 мл сухого вина, или 300 мл пива)

 1–2 порции  3–4 порции  5–6 порций  7–9 порций  ≥ 10 порций

  1. Как часто за 1 раз употребляете 6 или более порций алкоголя?

(6 порций равны 180 мл крепкого алкоголя (водки), или 600 мл сухого вина, или 1,8 л пива)

 Никогда  ≤ 1 раз в месяц  2–4 раза в месяц  2–3 раза в неделю  ≥ 4 раза в неделю

  1. Употребляете фрукты, овощи, ягоды ежедневно?

 Да  Нет

  1. Пьете газированные напитки больше 1 литра в день?

 Да  Нет

  1. Есть ли непереносимость молочных продуктов?

 Да  Нет

  1. Сколько времени Вы уделяете физическим нагрузкам? (быстрая ходьба, плавание, фитнес, гимнастика, занятия на тренажерах, игровые виды спорта и др.)

 Ежедневно, не менее 30 минут  Несколько раз в неделю, не менее 40–60 минут

 Один раз в неделю, не менее 40–60 минут  Еще меньше или не уделяю времени

  1. Отмечаются ли у Вас следующие жалобы?

Головокружения или головные боли 1 раз в неделю или чаще

 Да  Нет

Уменьшился ли Ваш рост более чем на 3 см в течение жизни или на 2 см и более за 1–3 года?

 Да  Нет

Перелом конечностей / позвоночника при незначительной травме (например, падении с высоты собственного роста) диагностировали у Вас ранее?

 Да  Нет

Повышение артериального давления > 130/80 мм рт. ст.

 Никогда  Иногда  Часто

«Мушки» перед глазами, «искры»

 Никогда  Иногда  Часто

Одышка при физической нагрузке (ускоренная ходьба и подъем по лестнице на 2-й этаж)

 Никогда  Иногда  Часто

Нарушение ритма сердца (чередование сердцебиения, замирания сердца)

 Никогда  Иногда  Часто

Боль / ощущение тяжести / дискомфорта / жжения в левой половине грудной клетки или за грудиной при физической нагрузке (ускоренная ходьба, подъем по лестнице, переживания)

 Никогда  Иногда  Часто

Выраженные боли в поясничной области («боль в области почек»), отдающие в область живота, паховую область и половые органы

 Никогда  Иногда  Часто

Эпизоды красной мочи

 Никогда  Иногда  Часто

Плохой аппетит и/или отвращение к мясной пище

 Никогда  Иногда  Часто

Общее недомогание, слабость

 Никогда  Иногда  Часто

Кожный зуд

 Никогда  Иногда  Часто

Постоянная жажда / сухость в ротовой полости

 Никогда  Иногда  Часто

  1. Боль в суставах (отметьте, пожалуйста, суставы, вызывающие у Вас дискомфорт – скованность, припухлость или болезненность).

Боль в суставах возникает:

 никогда  только при движении

 только в определенном положении  постоянная

Боль в позвоночнике возникает:

 никогда  чаще утром и/или в ночные часы

 постоянная  зависит от нагрузки

Боль в позвоночнике после физической нагрузки:

 улучшается  ухудшается  не зависит от нагрузки

Скованность (чувство стянутости и физического препятствия при движении) в суставах:

 никогда  иногда возникает  часто возникает

Продолжительность скованности в суставах (ответьте, если есть скованность):

 до 15 минут  15–30 минут  30–60 минут

 60–90 минут  больше 90 минут

  1. Были ли у Вас следующие изменения на коже, ногтях и в суставах?

Изменение окраски (побеление, посинение, синюшность) кожных покровов кистей или стоп на холоде, как представлено на фото

 Нет  Да

Изменения на ногтях пальцев рук и ног в виде точечных углублений или неровностей

 Нет  Да

Плоские бляшки розового-красного цвета, склонные к слиянию, или бляшки с серебристо-белыми чешуйками на теле

 Нет  Да

Припухлость, боль и изменение температуры кожи над областью суставов первого пальца стопы

 Нет  Да

  1. У Вас отмечались случаи повышения уровня мочевой кислоты?

 Затрудняюсь ответить  Нет  Да  Страдаю подагрой

  1. Ревматоидный фактор обнаруживали больше нормального значения?

 Затрудняюсь ответить  Нет  Да  Страдаю ревматоидным артритом

  1. У Вас отмечались случаи повышения уровня сахара (глюкозы) в крови?

 Затрудняюсь ответить  Нет  Да  Страдаю сахарным диабетом

  1. У Вас отмечались перечисленные сердечно-сосудистые заболевания?

Инфаркт миокарда

 Нет  Да

Острое нарушение мозгового кровообращения (инсульт)

 Нет  Да

Тромбозы вен нижних конечностей

 Нет  Да

Тромбоэмболия легочной артерии

 Нет  Да

Атеросклероз сосудов

 Нет  Да

Другие

 Нет  Да

  1. Среди Ваших кровных родственников отмечались следующие заболевания?

Сахарный диабет 1-го или 2-го типа

 Нет  Да  Затрудняюсь ответить

Артериальная гипертония

 Нет  Да  Затрудняюсь ответить

Инфаркт или инсульт (в возрасте до 65 лет у матери или родных сестер или до 55 лет у отца или родных братьев)

 Нет  Да  Затрудняюсь ответить

Заболевания почек

 Нет  Да  Затрудняюсь ответить

Подагра

 Нет  Да  Затрудняюсь ответить

Онкологические заболевания

 Нет  Да  Затрудняюсь ответить

  1. Вы принимаете обезболивающие препараты?

 Менее 10 таблеток в месяц  11–30 таблеток в месяц  Более 30 таблеток в месяц

  1. Вы принимаете лекарства для снижения артериального давления?

 Не принимаю  Да, принимаю нерегулярно  Да, принимаю постоянно

  1. Вы принимаете мочегонные препараты?

 Не принимаю  Да, принимаю нерегулярно  Да, принимаю постоянно

  1. Вы получали химио- или лучевую терапию по поводу онкологического заболевания в течение последних 3 лет?

 Нет  Да

  1. Вы принимали глюкокортикостероиды (преднизолон, метипред или аналоги) в виде таблеток или инъекций на протяжении 3 месяцев?

 Нет  Да

  1. Дополнительный вопрос для женщин:

патологически протекающие беременности (эклампсия, гестоз) и роды?

 Нет  Да

Мы готовы Вас проконсультировать и дать соответствующие рекомендации.

Для получения обратной связи, в том числе для записи на консультацию к ревматологу, пожалуйста,

укажите свои актуальные контактные данные.

Ф.И.О.: __________________________________________________________________________________________________________

Телефон для связи: +7- _________________________________ Электронная почта: _______________________________________

Разработчик: канд. мед. наук Георгинова О.А.

Дополнительная информация

Финансирование

Статья написана в рамках выполнения НИР 0908.005.

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов.

Участие авторов

О.А. Георгинова – концепция и дизайн исследования, формирование групп пациентов, сбор и обработка материалов, анализ и интерпретация полученных данных, написание текста, редактирование рукописи, утверждение итогового варианта рукописи; А.Д. Савина – сбор и обработка материалов, анализ и интерпретация полученных данных, написание текста, редактирование рукописи; Т.Н. Краснова – концепция и дизайн статьи, редактирование рукописи, утверждение итогового варианта рукописи; Л.А. Габбасова – концепция и дизайн статьи, интерпретация полученных результатов, редактирование рукописи, утверждение итогового варианта рукописи; А.Г. Армаганов – разработка дизайна проекта, анализ результатов, написание текста. Все авторы прочли и одобрили финальную версию статьи перед публикацией, согласны нести ответственность за все аспекты работы и гарантируют, что ими надлежащим образом были рассмотрены и решены вопросы, связанные с точностью и добросовестностью всех частей работы.

 

1 Организация проведения профилактического медицинского осмотра и диспансеризации определенных групп взрослого населения. Методические рекомендации по практической реализации приказа Минздрава России от 13.03.2019 № 124н «Об утверждении порядка проведения профилактического медицинского осмотра и диспансеризации определенных групп взрослого населения». Москва, 2019. 165 с.

2 Приказ Министерства здравоохранения РФ от 27.04.2021 № 404н (ред. от 28.09.2023) «Об утверждении Порядка проведения профилактического медицинского осмотра и диспансеризации определенных групп взрослого населения». Доступно на: http://publication.pravo.gov.ru/Document/View/0001202106300043

×

Об авторах

Ольга Анатольевна Георгинова

ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова»

Автор, ответственный за переписку.
Email: olga.georginova@gmail.com
ORCID iD: 0000-0002-7542-8189

канд. мед. наук, врач-ревматолог, доцент кафедры внутренних болезней факультета фундаментальной медицины

Россия, 119991, г. Москва, Ломоносовский пр., 27-1

Александра Дмитриевна Савина

ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова»

Email: alexa.savi@yandex.ru
ORCID iD: 0009-0007-1016-1368

студентка факультета фундаментальной медицины

Россия, 119991, г. Москва, Ломоносовский пр., 27-1

Татьяна Николаевна Краснова

ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова»

Email: krasnovamgu@yandex.ru
ORCID iD: 0000-0001-6175-1076

канд. мед. наук, заведующая кафедрой внутренних болезней факультета фундаментальной медицины

Россия, 119991, г. Москва, Ломоносовский пр., 27-1

Ляля Адыгамовна Габбасова

ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова»

Email: LAGabbasova@mc.msu.ru
ORCID iD: 0000-0003-2564-8754

д-р мед. наук, заведующая отделом научных программ и инновационных технологий, заместитель директора Медицинского научно-образовательного центра

Россия, 119991, г. Москва, Ломоносовский пр., 27-1

Арташес Георгиевич Армаганов

ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова»

Email: persmedinfo@gmail.com
ORCID iD: 0009-0003-0487-1911

ведущий специалист научно-исследовательской лаборатории компьютерных технологий в медицине Медицинского научно-образовательного центра

Россия, 119991, г. Москва, Ломоносовский пр., 27-1

Список литературы

  1. Al-Mehmadi BA, Alelaiwi MMM, Alnumayr HSA, Alghamdi BS, Alomari BA, Alzahrani HS. Knowledge of common symptoms of rheumatic diseases and causes of delayed diagnosis in Saudi Arabia. Patient Prefer Adherence. 2024;18:635–647. doi: 10.2147/PPA.S448999.
  2. Linden M, Le Cessie S, Raza K, van der Woude D, Knevel R, Huizinga T, van der Helm-van Mil AHM. Long-term impact of delay in assessment of patients with early arthritis. Arthritis Rheum. 2010;62:3537–3546. doi: 10.1002/art.27692.
  3. Villeneuve E, Nam JL, Bell MJ, Deighton CM, Felson DT, Hazes JM, McInnes IB, Silman AJ, Solomon DH, Thompson AE, White PHP, Bykerk VP, Emery P. A systematic literature review of strategies promoting early referral and reducing delays in the diagnosis and management of inflammatory arthritis. Ann Rheum Dis. 2013;72(1):13–22. doi: 10.1136/annrheumdis-2011-201063.
  4. Kumar K, Daley E, Carruthers DM, Situnayake D, Gordon C, Grindulis K, Buckley CD, Khattak F, Raza K. Delay in presentation to primary care physicians is the main reason why patients with rheumatoid arthritis are seen late by rheumatologists. Rheumatology (Oxford). 2007;46(9):1438–1440. doi: 10.1093/rheumatology/kem130.
  5. Stack RJ, Nightingale P, Jinks C, Shaw K, Herron-Marx S, Horne R, Deighton C, Kiely P, Mallen C, Raza K; DELAY study syndicate. Delays between the onset of symptoms and first rheumatology consultation in patients with rheumatoid arthritis in the UK: An observational study. BMJ Open. 2019;9(3):e024361. doi: 10.1136/bmjopen-2018-024361.
  6. Галушко ЕА, Эрдес ШФ, Амирджанова ВН. Особенности диагностики ревматоидного артрита в реальной клинической практике. Научно-практическая ревматология. 2011;(1):21–26. doi: 10.14412/1995-4484-2011-863.
  7. Voigt A, Seipelt E, Bastian H, Juche A, Krause A. Improved early diagnostics of rheumatic diseases: Monocentric experiences with an open rheumatological specialist consultation. Z Rheumatol. 2018;77(9):844–849. doi: 10.1007/s00393-018-0540-4.
  8. Widdifield J, Tu K, Thorne JC, Bombardier C, Paterson JM, Jaakkimainen RL, Wing L, Butt DA, Ivers N, Hofstetter C, Lyddiatt A, Ahluwalia V, Bernatsky S. Patterns of care among patients referred to rheumatologists in Ontario, Canada. Arthritis Care Res (Hoboken). 2017;69(1):104–114. doi: 10.1002/acr.22910.
  9. Pincus T, Yazici Y, Bergman MJ. Patient questionnaires in rheumatoid arthritis: advantages and limitations as a quantitative, standardized scientific medical history. Rheum Dis Clin North Am. 2009;35(4):735–743. doi: 10.1016/ j.rdc.2009.10.009.
  10. Combe B, Landewe R, Lukas C, Bolosiu HD, Breedveld F, Dougados M, Emery P, Ferraccioli G, Hazes JMW, Klareskog L, Machold K, Martin-Mola E, Nielsen H, Silman A, Smolen J, Yazici H. EULAR recommendations for the management of early arthritis: Report of a task force of the European Standing Committee for International Clinical Studies Including Therapeutics (ESCISIT). Ann Rheum Dis. 2007;66(1):34–45. doi: 10.1136/ard.2005.044354.
  11. Насонов ЕЛ, Лила АМ, Галушко ЕА, Амирджанова ВН. Стратегия развития ревматологии: от научных достижений к практическому здравоохранению. Научно-практическая ревматология. 2017;55(4):339–343. doi: 10.14412/1995-4484-2017-339-343.
  12. Smith E, Hoy DG, Cross M, Vos T, Naghavi M, Buchbinder R, Woolf AD, March L. The global burden of other musculoskeletal disorders: Estimates from the Global Burden of Disease 2010 study. Ann Rheum Dis. 2014;73(8):1462–1469. doi: 10.1136/annrheumdis-2013-204680.
  13. Global Burden of Disease Study 2013 Collaborators. Global, regional, and national incidence, prevalence, and years lived with disability for 301 acute and chronic diseases and injuries in 188 countries, 1990–2013: A systematic analysis for the Global Burden of Disease Study 2013. Lancet. 2015;386(9995):743–800. doi: 10.1016/S0140-6736(15)60692-4.
  14. Гладкова ИН, Русаков ВФ, Черников РА, Карелина ЮВ, Никитина ТП, Ефремов СМ, Ионова ТИ. Апробация и валидация русской версии опросника для оценки качества жизни у больных первичным гиперпаратиреозом – PHPQOL. Проблемы эндокринологии. 2021;67(1):41–51. doi: 10.14341/probl12714.
  15. Hoo ZH, Candlish J, Teare D. What is an ROC curve? Emerg Med J. 2017;34(6):357–359. doi: 10.1136/emermed-2017-206735.
  16. Hajian-Tilaki K. Receiver Operating Characteristic (ROC) curve analysis for medical diagnostic test evaluation. Caspian J Intern Med. 2013;4(2):627–635.
  17. Ткачева ОН, Рунихина НК, Остапенко ВС, Шарашкина НВ, Мхитарян ЭА, Онучина ЮС, Лысенков СН. Валидация опросника для скрининга синдрома старческой астении в амбулаторной практике. Успехи геронтологии. 2017;30(2):236–242.
  18. Галушко ЕА, Насонов ЕЛ. Распространенность ревматических заболеваний в России. Альманах клинической медицины. 2018;46(1):32–39. doi: 10.18786/2072-0505-2018-46-1-32-39.
  19. Николаев НА, Драпкина ОМ, Ливзан МА, Скирденко ЮП, Горшков АЮ, Горбенко АВ, Дроздова ЛЮ, Андреев КА, Блох АИ, Гаус ОВ, Захарова ТД, Плотникова ОВ, Федорин ММ. Оценка эффективности анкетирования для выявления симптомов и факторов риска развития неинфекционных заболеваний (исследование «МАРКИЗ»): дизайн исследования и общая характеристика исследовательской выборки. Профилактическая медицина. 2022;25(6):54–60. doi: 0.17116/profmed20222506154.
  20. Raza K, Stack R, Kumar K, Filer A, Detert J, Bastian H, Burmester GR, Sidiropoulos P, Kteniadaki E, Repa A, Saxne T, Turesson C, Mann H, Vencovsky J, Catrina A, Chatzidionysiou A, Hensvold A, Rantapää-Dahlqvist S, Binder A, Machold K, Kwiatkowska B, Ciurea A, Tamborrini G, Kyburz D, Buckley CD. Delays in assessment of patients with rheumatoid arthritis: variations across Europe. Ann Rheum Dis. 2011;70(10):1822–1825. doi: 10.1136/ard.2011.151902.
  21. Bell MJ, Tavares R, Guillemin F, Bykerk VP, Tugwell P, Wells GA. Development of a self-administered early inflammatory arthritis detection tool. BMC Musculoskelet Disord. 2010;11:50. doi: 10.1186/1471-2474-11-50.
  22. Георгинова ОА, Краснова ТН, Павликова ЕП. Диагностические возможности анкетирования для выявления гиперурикемии при суставном синдроме. Лечение и профилактика. 2021;11(2):38–45.
  23. Tavares R, Wells GA, Bykerk VP, Guillemin F, Tugwell P, Bell MJ. Validation of a self-administered inflammatory arthritis detection tool for rheumatology triage. J Rheumatol. 2013;40(4):417–424. doi: 10.3899/jrheum.120096.
  24. Singh S, Kumar A, Panneerselvam K, Vennila JJ. Diagnosis of arthritis through fuzzy inference system. J Med Syst. 2012;36(3):1459–1468. doi: 10.1007/s10916-010-9606-9.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Таблицы
Скачать (19KB)
3. Рис. 1. Средние значения баллов за опросник среди мужчин (n = 408) и женщин (n = 420); специальный вопрос для женщин о патологически протекающей беременности исключен; р = 0,000083

Скачать (141KB)
4. Рис. 2. Корреляция между уровнем образования и итоговым баллом в опроснике (r = 0,157203, р = 0,000006); на графике рассеяния отображен 95% доверительный интервал; 1-й уровень – среднее образование, 2-й – среднее специальное, 3-й – высшее, 4-й – имеется степень кандидата наук, 5-й – имеется степень доктора наук

Скачать (186KB)
5. Рис. 3. ROC-кривая анкеты и наличия ревматологического диагноза у пациента; AUC = 0,884

Скачать (141KB)
6. Приложение
Скачать (310KB)
7. Приложение. Рис. 1

Скачать (376KB)
8. Приложение. Рис. 2

Скачать (54KB)
9. Приложение. Рис. 3

10. Приложение. Рис. 4

Скачать (43KB)
11. Приложение. Рис. 5

Скачать (32KB)

© Георгинова О.А., Савина А.Д., Краснова Т.Н., Габбасова Л.А., Армаганов А.Г., 2024

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial 4.0 International License.

Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах