Preview

Акушерство, Гинекология и Репродукция

Расширенный поиск

Патогенетическое и прогностическое значение воспаления и нарушений в оси ADAMTS-13/vWF у больных тяжелой формой COVID-19

https://doi.org/10.17749/2313-7347/ob.gyn.rep.2022.327

Содержание

Перейти к:

Аннотация

Введение. В настоящее время эндотелиальная дисфункция, вызванная воспалением и иммунотромбозом, рассматривается в качестве одного из ключевых механизмов COVID-19. При тяжелом течении COVID-19 описано массивное повреждение эндотелия с высвобождением большого количества мультимеров фактора фон Виллебранда (англ. von Willebrand factor, vWF) и последующим потреблением металлопротеиназы ADAMTS-13 (англ. a disintegrin and metalloproteinase with a thrombospondin type 1 motif, member 13). Активация клеток врожденного иммунитета, в том числе нейтрофилов, приводит к образованию внеклеточных ловушек нейтрофилов (англ. neutrophil extracellular traps, NETs) и высвобождению миелопероксидазы (МПО), что в свою очередь способствует распространению процессов воспаления и тромбоза в микрососудистом русле.

Цель: изучение патогенетической роли и прогностической ценности циркулирующих в крови маркеров воспаления, дисфункции эндотелия и активации системы гемостаза, в частности, vWF, ADAMTS-13 и МПО в отношении внутрибольничной смертности у пациентов с тяжелой формой COVID-19, нуждающихся в искусственной вентиляции легких (ИВЛ).

Материалы и методы. Проведено одноцентровое ретроспективное наблюдательное исследование с участием 129 пациентов с тяжелым течением COVID-19, находившихся в отделении интенсивной терапии на ИВЛ. У всех пациентов определяли содержание vWF, ADAMTS-13 и у 79 – концентрацию MПO в сыворотке крови, а также другие показатели как потенциальные предикторы внутрибольничной смертности.

Результаты. Путем проведения многофакторного анализа было показано, что увеличение концентрации таких маркеров, как антиген vWF (vWF:Ag, МЕ/мл) и MПO человека (MПO:Aг, нг/мл) достоверно и независимо связаны с высокой вероятностью смертности: vWF:Ag – скорректированное отношение шансов (ОШ) = 3,360; 95 % доверительный интервал (95 % ДИ) = 1,562–7,228 (р = 0,0019); MПO:Aг – скорректированное ОШ = 1,062; 95 % ДИ = 1,024–1,101 (р = 0,0011). На основании этих результатов был получен упрощенный показатель смертности, и пациенты были классифицированы как имеющие значения данного показателя выше или ниже медианного: высокое значение показателя было связано с более низкой кумулятивной выживаемостью (p < 0,0001), в 50 % случаев смерть наступала на 13-е сутки госпитализации.

Заключение. При тяжелом течении COVID-19, требующем ИВЛ, повышенные концентрации МПО и vWF:Ag в крови у пациентов с тяжелым COVID-19 коррелируют с низкой выживаемостью.

Для цитирования:


Бицадзе В.О., Хизроева Д.Х., Гри Ж., Шульман С., Шкода А.С., Третьякова М.В., Макацария Н.А., Слуханчук Е.В., Панкратьева Л.Л., Петровский М.И., Машечкин И.В., Блинов Д.В., Цибизова В.И., Гадаева З.К., Паньшин С.С., Самбурова Н.В., Макацария А.Д. Патогенетическое и прогностическое значение воспаления и нарушений в оси ADAMTS-13/vWF у больных тяжелой формой COVID-19. Акушерство, Гинекология и Репродукция. 2022;16(3):228-243. https://doi.org/10.17749/2313-7347/ob.gyn.rep.2022.327

For citation:


Bitsadze V.O., Khizroeva J.Kh., Gris J., Schulman S., Shkoda A.S., Tretyakova M.V., Makatsariya N.A., Slukhanchuk E.V., Pankratyeva L.L., Petrovskiy M.I., Mashechkin I.V., Blinov D.V., Tsibizova V.I., Gadaeva Z.K., Panshin S.S., Samburova N.V., Makatsariya A.D. Pathogenetic and prognostic significance of inflammation and altered ADAMTS-13/vWF axis in patients with severe COVID-19. Obstetrics, Gynecology and Reproduction. 2022;16(3):228-243. https://doi.org/10.17749/2313-7347/ob.gyn.rep.2022.327

ВВЕДЕНИЕ / INTRODUCTION

Масштаб пандемии новой коронавирусной инфекции COVID-19 и ее последствия поставили множество новых вопросов в медицине, в том числе еще раз привлекли внимание к изучению воспаления и нарушений гемостаза в патогенезе тяжелых форм болезни. Вирус-индуцированные нарушения гемостаза – нередкое явление. В основном, это геморрагические проявления хорошо известной острой геморрагической лихорадки, в частности, Крымской лихорадки (лихорадка Конго), лихорадки Эбола и др. [1]. Коронавирусная инфекция стала ярким проявлением тромботических эффектов вирусов. Так, при тяжелой форме COVID-19 частота венозных тромбоэмболических осложнений составляет в среднем 45,6 %, в то время как при нетяжелых формах – 23,0 % [2][3]. Сегодня уже известно, что смертность при COVID-19 в основном связана с тяжелыми нарушениями функции легких (тяжелой легочной недостаточностью) и тромбозом, хотя и легочная недостаточность в основном связана с локальным тромбозом сосудов легких (преимущественно капиллярного уровня) [4]. Основные механизмы нарушений, вызванные SARS-CoV-2 инфекцией, включают повышенную генерацию тромбина и внутрисосудистое свертывание крови в капиллярах, тяжелое поражение эндотелия и активацию макрофагов/моноцитов, выброс избыточного количества провоспалительных цитокинов, экстернализацию гликозаминогликанов на поверхности эндотелия, формирование внеклеточных нейтрофильных ловушек, активацию системы комплемента [5][6]. Развивающийся в условиях супервоспаления патологический нетоз может играть определяющую роль как с точки зрения тяжести течения заболевания, так и исходов. Нетоз – это избыточный выброс так называемых внеклеточных ловушек нейтрофилов (англ. neutrophil extracellular traps, NETs) в процессе избыточной активации нейтрофилов при воспалении. NETs – внеклеточные структуры, подобные сетям из нитей хроматина, выстланных высокоактивными протеазами и белками ядерного, цитозольного и гранулярного происхождения. Индукторами нетоза могут быть микроорганизмы, бактериальные компоненты, активированные тромбоциты, комплементарные пептиды, аутоантитела. Активированные тромбоциты инициируют мощный выброс NETs нейтрофилами, обеспечивая тем самым создание каркаса для отложения фибрина и стабилизации тромба. Неконтролируемый выброс провоспалительных цитокинов в результате активации моноцитов/макрофагов/нейтрофилов, эндотелия и системы комплемента получил название цитокинового шторма, который может способствовать развитию тромботического шторма с развитием тромботической микроангиопатии (ТМА) [7]. Происхождение ТМА может быть различным, но одним из важнейших этиологических факторов является дефицит металлопротеиназы ADAMTS-13 (англ. a disintegrin and metalloproteinase with a thrombospondin type 1 motif, member 13) и, как следствие, неадекватный протеолиз мультимеров фактора фон Виллебранда (англ. von Willebrand factor, vWF), обладающих высокой способностью активировать тромбоциты. В условиях SARS-CoV-2-опосредованного поражения эндотелия происходит потребление ADAMTS-13 избыточными количествами высокомолекулярного vWF и накопление ультравысокомолекулярных мультимеров, которые в комлексе с адгезированными и агрегированными тромбоцитами вызывают тромбоз микроциркуляции с развитием органной недостаточности [8].

Причиной ТМА в условиях системного воспалительного ответа и нетоза может быть и прямое ингибирование естественных антикоагулянтных свойств АDАМTS-13 нейтрофильными ловушками. Таким образом, тромбовоспаление и иммунотромбоз сегодня рассматриваются как главные процессы, лежащие в основе тяжелых форм COVID-19 [4][9]. В мировой медицинской литературе есть относительно небольшое количество публикаций о возможной роли ADAMTS-13 и vWF при тяжелых формах COVID-19 с ограниченным количеством исследуемых пациентов и весьма разноречивыми результатами. Значительно меньше информации о прогностической роли маркеров нетоза, в частности миелопероксидазы (МПО) – известного маркера активации нейтрофилов [10]. Несмотря на то что высокий уровень D-димера в плазме крови наряду с тромбоцитопенией и удлинением протромбинового времени предложены в качестве прогностически неблагоприятных маркеров при тяжелом COVID-19 [11][12], поиск независимых предикторов, определяющих выживаемость при тяжелых формах COVID-19, все еще актуален. Таким образом, существует необходимость анализа прогностического значения лабораторных параметров гемостаза и воспаления при тяжелых формах COVID-19.

Цель: изучение патогенетической роли и прогностической ценности циркулирующих в крови маркеров воспаления, дисфункции эндотелия и активации системы гемостаза, в частности, vWF, ADAMTS-13 и МПО в отношении внутрибольничной смертности у пациентов с тяжелой формой COVID-19, нуждающихся в искусственной вентиляции легких (ИВЛ).

МАТЕРИАЛЫ И МЕТОДЫ / MATERIALS AND METHODS

Дизайн исследования / Study design

Проведено одноцентровое ретроспективное наблюдательное исследование пациентов с тяжелой формой COVID-19. Пациенты были госпитализированы в отделение реанимации и интенсивной терапии (ОРИТ) ГБУЗ ГКБ № 67 им. Л.А. Ворохобова ДЗМ, которая во время пандемии в период с мая 2020 г. по май 2021 г. работала как COVID-госпиталь. Диагноз COVID-19, помимо наличия клинических проявлений, у всех пациентов был подтвержден лабораторно путем проведения теста полимеразной цепной реакции (ПЦР) с обратной транскрипцией при анализе назальных и орофарингеальных мазков на SARS-CoV-2.

Критерии включения и исключения / Inclusion and exclusion сriteria

Критерии включения: возраст > 18 лет; пациенты с тяжелой формой COVID-19, нуждающиеся в ИВЛ, с положительным результатом ПЦР на SARS-CoV-2; острый репираторный дистресс легких, обусловленный SARS-CоV-2.

Критерии исключения: возраст < 18 лет; причина госпитализации в ОРИТ связана с вторичной инфекцией, отличной от SARS-CoV-2.

Группы обследованных / Study groups

Обследовано 314 пациентов, включенных в исследование. Окончательно на наличие вышеперечисленных параметров было отобрано 312 больных. Из них 214 пациентов находилось в ОРИТ с тяжелой формой COVID-19, требовавшей ИВЛ.

В процессе отбора из 214 госпитализированных в ОРИТ пациентов только 129 в дальнейшем были включены для проведения исследования, так как у них образцы плазмы крови были взяты сразу при поступлении в ОРИТ.

Контрольная группа состояла из 40 здоровых добровольцев, неинфицированных COVID-19.

Методы обследования / Study methods

У 129 пациентов были оценены такие параметры гемостаза и воспаления, как vWF, ADAMTS-13 (антиген ADAMTS-13:Ag, активность ADAMTS-13:Ac, ингибитор ADAMTS-13:i), D-димер, С-реактивный белок (СРБ), ферритин, а также рассчитаны отношения тромбоциты/лимфоциты (PLT/LYM), ADAMTS-13:Ag/vWF:Ag, ADAMTS-13:Ac/vWF:Ag.

У 79 из них дополнительно к указанным параметрам было проведено определение концентрации МПО в плазме крови (MПO:Aг), так как количество образцов плазмы оказалось избыточным и достаточным. Плазма крови здоровых добровольцев (контрольная группа) также была исследована на указанные нерутинные показатели.

Образцы плазмы крови пациентов, полученные в первый день госпитализации в ОРИТ до начала антикоагулянтной терапии, после центрифугирования хранились при температуре –80 °С. В последующем плазма анализировалась на рутинные показатели, такие как содержание СРБ и ферритина; протромбиновое время (ПВ) и активированное частичное тромбопластиновое время (АЧТВ), аспартатаминотрансфераза (АСТ), аланинаминотрансфераза (АЛТ), гаммаглутамилтрансфераза (ГГТ), а также лактатдегидрогеназа (ЛДГ), концентрация гемоглобина, общее количество лейкоцитов, тромбоцитов, соотношение тромбоцитов и лимфоцитов в цельной крови. Нерутинные исследования включали анализ обедненной тромбоцитами плазмы на содержание антигена фактора фон Виллебранда (vWF:Ag), антигена ADAMTS-13 (ADAMTS13:Ag), активности ADAMTS-13 (ADAMTS-13:Aс), концентрации ингибитора ADAMTS-13 (ADAMTS-13:i) с использованием коммерческих наборов тестов TECHNOZYM® (Technoclone Herstellung von Diagnostika und Arzneimitteln Gmb, Вена, Австрия). Референсные нормативные диапазоны значений данных показателей, согласно рекомендациям производителя, составляют: 0,41–1,41 ЕД/мл для ADAMTS-13:Ag; 0,4– 1,3 МЕ/мл для ADAMTS-13:Aс; менее 15 ЕД/мл для ADAMTS-13:i; 0,5–1,5 МЕ/мл (50–150 %) для vWF:Ag.

Количественное определение антигена МПO (MПO:Aг) производилось методом иммуноферментного анализа с использованием коммерческого реактива (Hycult Biotech, Нидерланды). Референсный нормативный диапазон для МПО:Аг составляет 2,56 ± 0,33 нг/мл согласно данным производителя.

D-димер определяли с помощью набора TechnoLEIA (Technoclone, Австрия). Нормативный референсный диапазон составляет менее 250 нг/мл в соответствии с данными производителя. Несмотря на рекомендации производителя по нормативным референсным значениям показателей, полученные у пациентов результаты сравнивались также со значениями таковых, полученными в контрольной группе.

Этические аспекты / Ethical aspects

Исследование проводилось в соответствии с этическими принципами Хельсинкской декларацией по соблюдению этических норм при проведении медицинских исследований с участием людей в качестве субъектов, а также было одобрено этическим комитетом ГБУЗ ГКБ № 67 им. Л.А. Ворохобова ДЗМ, протокол № 14 от 06.09.2021.

Статистический анализ / Statistical analysis

Для статистического анализа были отобраны пациенты, поступившие в ОРИТ. Оценивали 2 исхода: смерть или выписка/перевод в другое отделение. В качестве временного отрезка для выживаемости использовалось все время пребывания в ОРИТ.

На первом этапе применяли однопараметрический анализ данных. Для каждого параметра был определен оптимальный порог; использовали подход поиска оптимального разбиения по переменной в деревьях решений. В качестве критерия разбиения бралось минимальное значение «p» для статистики log-rank от времени выживания (нахождения в ОРИТ) с учетом цензурирования по выписке. Таким образом был выбран порог, который приводил к статистически максимально достоверно отличающимся функциям выживаемости в двух получаемых выборках.

После выбора порога для всех показателей построены таблицы сопряженности и для каждого показателя рассчитаны отношение шансов (англ. odds ratio, OR) и относительный риск (англ. relative risk, RR). Для оценки значимости параметра использовали значение «p» статистики Cochran–Mantel–Haenszel.

Для всех исследуемых параметров построена одномерная регрессия, получена точечная оценка коэффициента регрессии и его стандартная ошибка, а также уровень значимости параметра, который оценивали через значение «p» статистики Уальда (Wald test).

Для оценки способности каждой переменной прогнозировать смерть был проведен конкордантный метод статистики (c-statistics) с построением графика ROC-кривой (англ. receiver operating characteristic) и рассчитан ROC-индекс или площадь под кривой (англ. area under curve, AUC), которые оценивали непараметрическим методом.

В качестве инструмента оценки корреляции между параметрами использовали ранговую корреляцию Спирмена.

Отдельно было проведено сравнение наиболее важных параметров – ADAMTS-13:Ag, ADAMTS-13:Ac, ADAMTS-13:i, vWF:Ag, MПO:Aг с контрольной группой, содержащей 40 здоровых людей. С помощью одномерной ANOVA с использованием критерия Краскела– Уоллиса и одномерной непараметрической ANOVA на основе рангового теста Уилкоксона (Wilcoxon) были проверены гипотезы о совпадении средних и ранговых средних в контрольной и целевой группах, построены графики Boxplot с возможностью сравнить распределения на исходной шкале значений параметров и на ранговой шкале. Основными инструментами сравнения являлись Boxplot диаграммы, показывающие разброс значений в группах и р-value для соответствующих статистик: статистика Фишера для ANOVA анализа и Уилкоксона для непараметрического анализа средних. Результат сравнения считался значимым при р < 0,05.

Также было проведено сравнение функций эмпирических распределений, показывающих существенное различие распределений в контрольной и целевой группах.

На втором этапе для оценки прогностической значимости каждого исследуемого фактора использовали многомерный логистический регрессионный анализ. В многопараметрическую логистическую модель были включены биологические параметры, потенциально связанные со смертью (уровень значимости р < 0,20). При сильной корреляции двух переменных (коэффициент корреляции Пирсона > 0,80) сохранялась только одна по критериям осуществимости. С помощью метода обратной регрессии выбирали информативные параметры. Параметры, для которых р < 0,10, были включены в окончательную многомерную модель.

Наиболее значимые коэффициенты, полученные при анализе обратной регрессии, применяли для создания упрощенного показателя смертности на финальном этапе статистического анализа.

Достоверность этого анализа также была проверена с помощью конкордантной статистики.

Применение индекса Юдена (Yuoden index) позволило выбрать оптимальные параметры с наилучшей способностью прогнозировать смертельный исход с оценкой чувствительности, специфичности, прогностической ценности положительных результатов (positive predictive value, PPV), отношения правдоподобия положительного результата теста (positive likelihood ratio, LR+), прогностической ценности отрицательных результатов (negative predictive value, NPV), отношения правдоподобия отрицательного результата теста (negative likelihood ratio, LR–).

Полученный упрощенный показатель смертности позволил в дальнейшем провести анализ выживаемости с использованием метода Каплана–Мейера. Все сроки выживания были рассчитаны с момента поступления в ОРИТ до момента смерти в больнице (цензурированные данные). Логарифмический ранговый тест использовался для сравнения кривых выживаемости между пациентами с упрощенным значением показателя смертности, значения которого были выше или ниже медианного.

Статистический анализ был выполнен с помощью программы StatView®-windows software v.5.0 (SAS Institute Inc., СШA) и XLSTAT® software v.2015.4.01.20116 (Addinsoft SARL, Франция).

РЕЗУЛЬТАТЫ / RESULTS

Эпидемиологические данные пациентов включали возраст, пол и сопутствующие заболевания (табл.  1). Общее пребывание в больнице составило от 5 до 80 дней (за исключением одного пациента, чье пребывание в больнице составило 108 дней). Большинство пациентов (n = 70) умерли через 13 дней после поступления в больницу.

Таблица 1. Эпидемиологические данные госпитализированных в отделение реанимации и интенсивной терапии 129 COVID-19 пациентов.
Table 1. Epidemiological data for 129 COVID-19 patients admitted to the intensive care unit.

Мы оценили лабораторные маркеры гемостаза и воспаления как возможные диагностические, прогностические и контрольные маркеры, а также предикторы смерти у пациентов ОРИТ с тяжелой формой COVID-19, требующей ИВЛ. После однопараметрического логистического регрессионного анализа были идентифицированы параметры с p < 0,20 (табл.  2). Далее были установлены оптимальные пороговые значения для каждой биологической переменной, также определена точечная оценка коэффициента регрессии и его стандартная ошибка, p-значение статистики Уальда, отношение шансов/относительные риски и ROC-индекс.

Таблица 2. Сводная таблица с пороговыми значениями и результатами для всех переменных.
Table 2. A summarized table with threshold values and all parameter data.

Анализ ROC-кривых / ROC curve analysis

Результаты анализа ROC-кривых и АUC, представленные в сводной таблице 2 и на рисунке 1, показали сильную корреляцию с исходом болезни таких параметров, как vWF:Ag, ADAMTS-13:Ac, ADAMTS-13:Ag, MПO:Aг, D-димер, ферритин, отношение PLT/LYM, отношение ADAMTS-13:Ac/vWF:Ag и ADAMTS-13:Ag/vWF:Ac. Рисунок 1 демонстрирует ROC-кривые для переменных, которые в дальнейшем были использованы для мультипараметрического анализа.

Особое внимание нами было уделено нарушениям оси ADAMTS-13/vWF как возможному прогностическому фактору худшей выживаемости пациентов ОРИТ. Анализ полученных ROC-кривых показал наилучшую корреляцию с исходом фактора фон Виллебранда, активности ADAMTS-13 и отношения ADAMTS13:Ac/vWF:Ag (рис. 1). Анализ ROC-кривой ингибитора ADAMTS-13 показал отсутствие какой-либо корреляции между уровнем ADAMTS-13:i и исходами.

Среди всех оцениваемых параметров концентрация MПO демонстрировала наибольшую корреляцию со смертельным исходом у пациентов с тяжелой формой COVID-19, сопоставимую с vWF:Ag, в отличие от других маркеров воспаления (ферритин, СРБ). Анализ обратной регрессии также выявил стастически значимую связь между уровнем D-димера и худшей выживаемостью.

Сравнение с контрольной группой / Patient vs. control group comparison

Было проведено сравнение наиболее важных параметров ADAMTS-13:Ag, ADAMTS-13:Ac, ADAMTS-13:i, vWF:Ag, MПO:Aг с контрольной группой, состоящей из 40 здоровых волонтеров, на основе одномерной ANOVA и одномерной непараметрической ANOVA на основе рангового теста Уилкоксона (Wilcoxon) для непараметрического анализа средних значений. Построенные графики Boxplot (рис. 2) с возможностью сравнения распределения на исходной шкале значений параметров и на ранговой шкале в контрольной и целевой группах показали существенное различие этих значений.

Анализ кривых выживаемости Каплана-Мейера / Kaplan-Meier survival curve analysis

С учетом полученных порогов разбиения (табл.  2) были построены кривые выживаемости Каплана–Мейера (рис. 3).

Кривые выживаемости Каплана–Мейера демонстрируют порог-зависимый характер корреляции выбранных нами параметров. Анализ кривой выживаемости Каплана–Мейера для vWF (рис. 3) показал, что в выборке с пороговым значением vWF > 2,1 (красным на графике) кривая лежит намного ниже и статистически значимо отличается от выборки, где пороговое условие не выполняется (vWF < 2,1, показано синим цветом на графике), что свидетельствует о том, что вероятность выживания до 20-го дня пребывания в стационаре у пациентов, у которых выполнено условие по порогу отсечки (vWF > 2,1) почти в 3 раза меньше, чем у пациентов, у которых не соблюден порог отсечки (vWF < 2,1). Чем выше vWF, тем больше шансов наступления смерти.

Анализ кривых выживаемости Каплана–Мейера для активности ADAMTS-13 показал, что при пороге > 0,31 (красный цвет на рисунке 3) кривая лежит выше и статистически значимо отличается от выборки, где пороговое условие не выполняется (синий цвет на рисунке 3). Чем выше ADAMTS-13:Ac (> 0,31), тем выше шансы выжить.

В то же время не было выявлено зависимости выживаемости ни от дискретизированных, ни от непрерывных значений переменных антигена и ингибитора ADAMTS-13 (рис. 3).

Анализ кривых выживаемости Каплана–Мейера отношения ADAMTS-13:Ac/vWF:Ag показал, что при пороге отсечки > 0,223 (красный цвет на рисунке 3) кривая лежит выше и статистически значимо отличается от выборки, где пороговое условие не выполняется (синий цвет на рисунке 3). Чем выше соотношение ADAMTS-13:Ac/vWF:Ag (> 0,223), тем выше шансы на выживание.

При пороге разбиения > 0,113 для параметра ADAMTS13:Ag/vWF:Ag (красный цвет на рисунке 3) кривая лежит выше и статистически значимо отличается от выборки, где пороговое условие не выполняется (синий цвет на рисунке 3). Чем выше соотношение ADAMTS-13:Ag/vWF:Ag (> 0,113), тем выше вероятность выживания.

При пороге разбиения > 34 нг/мл для антигена МПО (красный цвет на рисунке 3) кривая лежит намного ниже и статистически значимо отличается от выборки, где пороговое условие не выполняется (синий цвет на рисунке 3). Чем выше активность МПО (> 34 нг/мл), тем выше вероятность смерти.

Таким образом, активность MПO, vWF:Ag и соотношение ADAMTS-13:Ac/vWF:Ag были как непрерывными, так и зависимыми от порога отсечки предикторами, в то время как ингибитор ADAMTS-13 и СРБ были статистически незначимыми как с пороговыми значениями, так и без них. Другие переменные, такие как D-димер и ферритин, были значимыми и зависимыми от отсечки предикторами и в то же время незначимыми, если они рассматривались как непрерывные в регрессионной модели (табл.  2).

Упрощенный показатель выживаемости и оценка выживаемости / Simplified survival rate and survival estimate

После однофакторного логистического регрессионного анализа (табл.  2) из множества лабораторных маркеров активации системы гемостаза и воспаления, как возможных предикторов внутрибольничной смерти, были выбраны несколько, которые были расценены как значимые факторы риска смерти. Проведенный затем мультипараметрический анализ с поправкой на все переменные с p < 0,20 в одномерном анализе показал, что увеличенные концентрации таких показателей как vWF:Ag и MПO:Aг были окончательно и независимо друг от друга связаны со смертельным исходом. Был рассчитан «упрощенный показатель смертности»: 1,212×vWF:Ag + 0,06×MПO:Аг. Значение показателя было значительно выше у пациентов, не выживших в ОРИТ, по сравнению с выжившими (p < 0,0001) (табл.  3) .

Таблица 3. Результаты мультивариантного анализа предикторов выживания среди лабораторных параметров.
Table 3. Multivariate analysis for comparing laboratory parameter-based survival predictors.

Примечание: OШ – отношение шансов; * с поправкой на все лабораторные показатели при p < 0,20 при однофакторном анализе.
Note: OR – odds ratio; *adjusted for all laboratory parameters at p < 0.20 in univariate analysis.

Последующий конкордантный метод статистики позволил оценить прогностическую способность «упрощенного показателя смертности» в отношении такого исхода, как выживаемость: значение AUC составило 0,851 (95 % ДИ = 0,758–0,934), p = 0,0001 (рис. 4). С использованием показателя Юдена наилучшее дискриминационное значение оказалось равным 4,46: его чувствительность для прогнозирования смертности составила 0,800 (0,659–0,892), специфичность – 0,837 (0,696–0,921), PPV = 0,837, LR+ = 4,914, NPV = 0,800, LR– = 0,239. Это соответствовало среднему значению упрощенного показателя смертности, наблюдавшемуся у пациентов.

На следующем этапе было проведено сравнение выживаемости пациентов с «упрощенным показателем смертности», превышающим его медианное значение (значение высокой оценки), с выживаемостью пациентов со значением упрощенной оценки смертности ниже медианного значения (значение низкой оценки) (рис. 5). Анализ свидетельствует, что пациенты со значением показателя смертности выше 4,46 имели значительно более низкую суммарную выживаемость, чем пациенты со значением упрощенной оценки смертности ниже 4,46 (логарифмический ранговый тест: p < 0,0001), 50 % из них умерли на 13-й день после госпитализации.

ОБСУЖДЕНИЕ / DISCUSSION

С момента начала пандемии COVID-19 медицинская литература буквально наводнена публикациями, посвященными COVID-19. При этом только по проблемам нарушений гемостаза и тромбозам – более 3000 публикаций. Значительная часть их них носит характер обзора или описаний клинических случаев. Декомпенсированный синдром системного воспалительного ответа и тромботические нарушения (в том числе микротромбозы и ТМА) в настоящее время признаются основополагающими патологическими процессами при тяжелом течении COVID-19. Термины тромбовоспаление, эндотелиальная дисфункция и иммунотромбоз все чаще упоминаются в литературе в связи с COVID-19 [9][13][14]. Поэтому роль оси ADAMTS-13/vWF и различных маркеров воспаления в патогенезе новой коронавирусной инфекции активно изучается. Мы обнаружили более 20 исследований, посвященных роли vWF и ADAMTS-13, и еще меньше исследований, изучающих одновременно несколько факторов, включая маркеры нетоза, с ограниченным числом исследуемых пациентов и нередко противоречивыми результатами [15–17]. Одним из центральных вопросов нашего исследования было изучение патогенетической роли и прогностической ценности циркулирующих в крови маркеров активации и повреждения эндотелия в условиях рекрутирования и стимуляции клеток врожденного иммунитета, в частности, миелоидных клеток, а именно, vWF и ADAMTS-13 для эндотелия и MПО для циркулирующих клеток миелоидного ряда.

Результаты проведенного нами исследования показывают, что такие лабораторные показатели как vWF:Ag, ADAMTS-13:Ac, ADAMTS-13:Ag, MПO:Aг, Д-димер, ферритин, отношение PLT/LYM, отношение ADAMTS-13:Ac/vWF:Ag и ADAMTS-13:Ag/vWF:Ac достоверно коррелируют с худшей выживаемостью пациентов с тяжелым COVID-19, госпитализированных в ОРИТ, а также отражают патогенетическую роль воспаления и нарушений гемостаза, в частности, оси ADAMTS-13/vWF и активации гранулоцитов с высвобождениеми ферментов, включая MПO. Вместе с нейтрофильной эластазой (англ. neutrophil elastase, NE) MПO является важным триггером образования NETs, приводящих к разрушению внутриклеточных белков и формированию реактивных форм кислорода и свободных радикалов, поражающих эндотелий [18].

В контрольной группе здоровых волонтеров значения выбранных лабораторных показателей достоверно и значительно отличались от таковых в целевой группе и не превышали референсных нормативных диапазонов (рис. 2).

Дефицит ADAMTS-13 и нарушения оси ADAMTS-13/vWF в условиях системной воспалительной реакции включают активацию секреции мультимеров vWF из эндотелия под действием провоспалительных цитокинов и потребление металлопротеиназы ADAMTS-13, ингибирование транскрипции ADAMTS-13 и прямую блокаду активности этого фермента. Было показано, что дефицит ADAMTS-13 коррелирует с исходами у пациентов с сепсисом и полиорганной недостаточностью [19].

Тромботическая тромбоцитопеническая пурпура и ТМА в отсутствие воспаления могут быть обусловлены врожденным дефицитом ADAMTS-13 или чаще наличием ингибитора ADAMTS-13 (антитела к ADAMTS-13). Несмотря на значительные сдвиги в иммунитете и иммунотромбоз, характерные для COVID-19, в нашем исследовании ингибитор ADAMTS-13 не показал корреляции с выживаемостью (рис. 2). Будучи лабораторным маркером воспаления, СРБ также не продемонстрировал значимой корреляции с выживаемостью.

Анализ кривых выживаемости Каплана–Мейера демонстрирует порог-зависимый характер корреляции выбранных при одномерном анализе параметров (рис. 3). Ингибитор ADAMTS-13 и СРБ были статистически незначимыми как с порогами отсечки, так и без них.

Прогностическое значение D-димера как неблагоприятного маркера выживаемости на сегоднящний день носит протворечивый характер. Наши данные отчасти согласуются с рекомендациями ISTH (англ. International Society on Thrombosis and Haemostasis) [20], где высокий уровень D-димера признан неблагоприятным прогностическим фактором у больных COVID-19. Согласно нашим данным, порог-зависимый эффект D-димера (в 9 раз выше нормальных референсных значений) на выживаемость больных ОРИТ присутствует, однако этот маркер не является независимым фактором риска смерти.

Одной из основных задач нашего исследования был поиск независимых прогностических маркеров выживаемости у больных тяжелыми формами COVID-19.

В мультипараметрической модели выживаемости из всего спектра возможных кандидатов-предикторов сохранились только МПО и vWF:Ag как независимые предикторы смерти. Оценка концентрации MПO привела к исчезновению маркеров, связанных с ADAMTS-13. Таким образом, можно сделать суждение, что при тяжелом COVID-19 более значима патологическая активация клеток миелоидного ряда с дегрануляцией и выбросом в кровоток ферментов (MПO, NE), формированием NETs и тяжелым поражением эндотелия. Повышение уровня антигена vWF является вторым независимым предиктором смерти. В то же самое время роль ADAMTS-13 как независимого предиктора неблагоприятного исхода устраняется, так как интенсивность выделения высокомолекулярного фактора фон Виллебранда при поражении эндотелия превосходит регуляторную способность молекул ADAMTS-13 (истощение потреблением ADAMTS-13) и переводит ADAMTS-13 в разряд зависимых факторов.

Сильные стороны исследования / Study strength

Впервые обнаружено, что:

  • определение МПО в крови имеет прогностическое значение у больных тяжелой формой COVID-19, находящихся на ИВЛ;
  • концентрации MПO и vWF:Ag являются независимыми предикторами смерти у больных тяжелой формой COVID-19, находящихся на ИВЛ.

Ограничения исследования / Study limitations

Исследование является моноцентровым и ретроспективным.

Не изучалась роль активности фактора Виллебрада vWF:RСo и высокомолекулярных мультимеров vWF, которые потенциально могут быть более эффективными предикторами клинических исходов.

Перспективы дальнейших исследований / Prospects for further investigation

Проведение проспективного, многоцентрового, слепого исследования с большим количеством участников. Изучение роли провоспалительных цитокинов и оценка их взаимосвязи с vWF и MПO.

ЗАКЛЮЧЕНИЕ / CONCLUSION

Результаты нашего исследования показали, что высокие концентрации МПО:Аг и vWF:Ag в сыворотке крови были независимыми предикторами низкой выживаемости у пациентов с тяжелой формой COVID-19, поступающих в ОРИТ для проведения ИВЛ. Необходимы дальнейшие проспективные исследования для подтверждения этих данных на многоцентровой основе. Если полученные нами данные подтвердятся в многоцентровом проспективном исследовании, то это может открыть новые возможности терапии больных тяжелой формой COVID-19 с применением ингибиторов активности фактора фон Виллебранда, гранулоцитов и МПО.

Список литературы

1. Smilowitz N.R., Subaschchandran V., Yuriditsky E. et al. Thrombosis in hospitalized patients with viral respiratory infections versus COVID-19. Am Heart J. 2021;231:93–5. https://doi.org/10.1016/j.ahj.2020.10.075.

2. Hanff T.C., Mohareb A.M., Giri J. et al. Thrombosis in COVID-19. Am J Hematol. 2020;95(12):1578–89. https://doi.org/10.1002/ajh.25982.

3. Malas M.B., Naazie I.N., Elsayed N. et al. Thromboembolism risk of COVID-19 is high and associated with a higher risk of mortality: A systematic review and meta-analysis. EClinicalMedicine. 2020;29:100639. https://doi.org/10.1016/j.eclinm.2020.100639.

4. Loo J., Spittle D.A., Newnham M. COVID-19, immunothrombosis and venous thromboembolism: biological mechanisms. Thorax. 2021;76(4):412–20. https://doi.org/10.1136/thoraxjnl-2020-216243.

5. Бицадзе В.О., Слуханчук Е.В., Хизроева Д.Х. и др. Внеклеточные ловушки нейтрофилов (NETs) в патогенезе тромбоза и тромбовоспалительных заболеваний. Вестник РАМН. 2021;76(1):75–85. https://doi.org/10.15690/vramn1395.

6. Zuo Y., Yalavarthi S., Shi H. et al. Neutrophil extracellular traps (NETs) as markers of disease severity in COVID-19. medRxiv. 2020;Apr 14:2020.04.09.20059626. https://doi.org/10.1101/2020.04.09.20059626.

7. Слуханчук Е.В., Бицадзе В.О., Хизроева Д.Х. и др. COVID-19 и тромботическая микроангиопатия. Акушерство, Гинекология и Репродукция. 2021;15(6):639–657. https://doi.org/10.17749/2313-7347/ob.gyn.rep.2021.265.

8. Sweeney J.M., Barouqa M., Krause G.J. et al. Evidence for secondary thrombotic microangiopathy in COVID-19. medRxiv. 2020;Oct 23: 2020.10.20.20215608. https://doi.org/10.1101/2020.10.20.20215608.

9. Bonaventura A., Vecchié A., Dagna L. et al. Endothelial dysfunction and immunothrombosis as key pathogenic mechanisms in COVID-19. Nat Rev Immunol. 2021;21(5):319–29. https://doi.org/10.1038/s41577-021-00536-9.

10. Guéant J.L., Fromonot J., Guéant-Rodriguez R.M. et al. Blood myeloperoxidase-DNA, a biomarker of early response to SARS-CoV-2 infection? Allergy. 2021;76(3):892–6. https://doi.org/10.1111/all.14533.

11. Zhan H., Chen H., Liu C. et al. Diagnostic value of D-dimer in COVID-19: a meta-analysis and meta-regression. Clin Appl Thromb Hemost. 2021;27:10760296211010976. https://doi.org/10.1177/10760296211010976.

12. Spyropoulos A.C., Lipardi C., Xu J. et al. Modified IMPROVE VTE risk score and elevated D-dimer identify a high venous thromboembolism risk in acutely ill medical population for extended thromboprophylaxis. TH Open. 2020;4(1):e59–e65. https://doi.org/10.1055/s-0040-1705137.

13. Landau N., Shoenfeld Y., Negru L., Segal G. Exploring the pathways of inflammation and coagulopathy in COVID-19: A narrative tour into a viral rabbit hole. Int Rev Immunol. 2021;22:1–9. https://doi.org/10.1080/08830185.2021.1993211.

14. Iba T., Levy J.H., Levi M., Thachil J. Coagulopathy in COVID-19. J Thromb Haemost. 2020;8(9):2103–9. https://doi.org/10.1111/jth.14975.

15. Favaloro E.J., Henry B.M., Lippi G. Increased VWF and decreased ADAMTS-13 in COVID-19: creating a milieu for (micro) thrombosis. Semin Thromb Hemost. 2021;47(4):400–18. https://doi.org/10.1055/s-0041-1727282.

16. Tiscia G.L., Favuzzi G., De Laurenzo A. et al.; CSS COVID-19 Group. Reduction of ADAMTS13 levels predicts mortality in SARS-CoV-2 patients. TH Open. 2020;4:e203–e206. https://doi.org/10.1055/s-0040-1716379.

17. Pascreau T., Zia-Chahabi S., Zuber B. et al. ADAMTS 13 deficiency is associated with abnormal distribution of von Willebrand factor multimers in patients with COVID-19. Thromb Res. 2021;204:138–40. https://doi.org/10.1016/j.thromres.2021.02.008.

18. Pramitasuri T.I., Laksmidewi A.A.A.P., Putra I.B.K., Dalimartha F.A. Neutrophil extracellular traps in Coronavirus disease-19-associated ischemic stroke: A novel avenue in neuroscience. Exp Neurobiol. 2021;30(1):1–12. https://doi.org/10.5607/en20048.

19. Nguyen T.C., Liu A., Liu L. et al. Acquired ADAMTS-13 deficiency in pediatric patients with severe sepsis. Haematologica. 2007;92(1):121–4. https://doi.org/10.3324/haematol.10262.

20. Thachil J., Tang N., Gando S.et al. ISTH interim guidance on recognition and management of coagulopathy in COVID-19. J Thromb Haemost. 2020;18(5):1023–6. https://doi.org/10.1111/jth.14810.


Об авторах

В. О. Бицадзе
ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет)
Россия

Бицадзе Виктория Омаровна – доктор медицинских наук, профессор РАН, профессор кафедры акушерства и гинекологии Клинического института детского здоровья имени Н.Ф. Филатова

119991 Москва, ул. Большая Пироговская, д. 2, стр. 4

Scopus Author ID: 6506003478,

Researcher ID: F-8409-2017



Д. Х. Хизроева
ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет)
Россия

Хизроева Джамиля Хизриевна – доктор медицинских наук, профессор кафедры акушерства и гинекологии Клинического института детского здоровья имени Н.Ф. Филатова

119991 Москва, ул. Большая Пироговская, д. 2, стр. 4

Scopus Author ID: 57194547147,

Researcher ID: F-8384-2017



Ж.-К. Гри
ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет); Университет Монпелье
Россия

Гри Жан-Кристоф – доктор медицинских наук, профессор кафедры акушерства и гинекологии Клинического института детского здоровья имени Н.Ф. Филатова ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет); профессор гематологии, университет Монпелье, Монпелье; иностранный член РАН

119991 Москва, ул. Большая Пироговская, д. 2, стр. 4,

34090 Монпелье, ул. Огюста Бруссоне, д. 163

Researcher ID: AAA-2923-2019



С. Шульман
ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет); Университет Макмастера
Россия

Шульман Сэм – доктор медицинских наук, профессор кафедры акушерства и гинекологии Клинического института детского здоровья имени Н.Ф. Филатова ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации, (Сеченовский университет); профессор медицинского факультета Научно-исследовательского института тромбоза и атеросклероза, Университет Макмастера; иностранный член РАН

119991 Москва, ул. Большая Пироговская, д. 2, стр. 4,

L8S 4K1 Онтарио, Гамильтон, Main Street West, 1280



А. С. Шкода
ГБУЗ «Городская клиническая больница № 67 имени Л.А. Ворохобова Департамента здравоохранения города Москвы»
Россия

Шкода Андрей Сергеевич – доктор медицинских наук, профессор, главный врач

123423 Москва, ул. Саляма Адиля, д. 2/44



М. В. Третьякова
ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет)
Россия

Третьякова Мария Владимировна – кандидат медицинских наук, врач акушер-гинеколог, ассистент кафедры акушерства и гинекологии Клинического института детского здоровья имени Н.Ф. Филатова

119991 Москва, ул. Большая Пироговская, д. 2, стр. 4



Н. А. Макацария
ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет)
Россия

Макацария Наталия Александровна – кандидат медицинских наук, доцент кафедры акушерства и гинекологии Клинического института детского здоровья имени Н.Ф. Филатова

119991 Москва, ул. Большая Пироговская, д. 2, стр. 4

Researcher ID: F-8406-2017



Е. В. Слуханчук
ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет); ФГБНУ «Российский научный центр хирургии имени академика Б.В. Петровского»
Россия

Слуханчук Екатерина Викторовна – кандидат медицинских наук, доцент кафедры акушерства и гинекологии Клинического института детского здоровья имени Н.Ф. Филатова ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский Университет); врач акушер-гинеколог отделения абдоминальной хирургии и онкологии 2, ФГБНУ «Российский научный центр хирургии имени академика Б.В. Петровского»

119991 Москва, ул. Большая Пироговская, д. 2, стр. 4,

119991 Москва, Абрикосовский пер., д. 2



Л. Л. Панкратьева
ГБУЗ «Городская клиническая больница № 67 имени Л.А. Ворохобова Департамента здравоохранения города Москвы»; ФГБУ «Национальный медицинский исследовательский центр детской гематологии, онкологии и иммунологии имени Дмитрия Рогачева» Министерства здравоохранения Российской Федерации
Россия

Панкратьева Людмила Леонидовна – доктор медицинских наук, руководитель научно-клинического центра ГБУЗ «Городская клиническая больница № 67 имени Л.А. Ворохобова Департамента здравоохранения города Москвы»; врач-неонатолог, врач-гематолог, доцент, профессор кафедры педиатрии и организации здравоохранения ФГБУ «Национальный медицинский исследовательский центр детской гематологии, онкологии и иммунологии имени Дмитрия Рогачева» Министерства здравоохранения Российской Федерации

123423 Москва, ул. Саляма Адиля, д. 2/44,

117997 Москва, ул. Саморы Машела, д. 1

Scopus Author ID: 7006391091,

Author ID: 697284



М. И. Петровский
ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова
Россия

Петровский Михаил Игоревич – кандидат физико-математических наук, доцент кафедры интеллектуальных информационных технологий факультета вычислительной математики и кибернетики

119234 Москва, Ленинские горы, 1, стр. 12



И. В. Машечкин
ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова
Россия

Машечкин Игорь Валерьевич – доктор физико-математических наук, профессор, заведующий кафедрой интеллектуальных информационных технологий факультета вычислительной математики и кибернетики

119234 Москва, Ленинские горы, 1, стр. 12



Д. В. Блинов
Институт Превентивной и Социальной Медицины; Клинический Госпиталь Лапино, ГК «Мать и Дитя»
Россия

Блинов Дмитрий Владиславович – кандидат медицинских нау, руководитель по медицинским и научным вопросам, Институт Превентивной и Социальной Медицины; врач-невролог, Клинический Госпиталь Лапино, ГК «Мать и Дитя»

127006 Москва, ул. Садовая-Триумфальная, д. 4–10,

143081 Московская область, Одинцовский район, Лапино, 1-е Успенское шоссе, д. 111

Scopus Author ID: 6701744871,

Researcher ID: E-8906-2017,

RSCI: 9779-8290



В. И. Цибизова
ФГБУ «Национальный медицинский исследовательский центр имени В.А. Алмазова» Министерства здравоохранения Российской Федерации
Россия

Цибизова Валентина Ивановна – кандидат медицинских наук, акушер-гинеколог НИЛ оперативной гинекологии Института перинатологии и педиатрии; врач отделения функциональной и ультразвуковой диагностики

197341 Санкт-Петербург, ул. Аккуратова, д. 2



З. К. Гадаева
ООО «Медицинский женский центр»
Россия

Гадаева Зумрад Келдияровна – врач лаборатории патологии гемостаза

109004 Москва, ул. Земляной Вал, д. 62



С. С. Паньшин
ООО «Медицинский женский центр»
Россия

Паньшин Сергей Сергеевич – кандидат биологических наук, медицинский лабораторный техник лаборатории патологии гемостаза

109004 Москва, ул. Земляной Вал, д. 62



Н. В. Самбурова
ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет)
Россия

Самбурова Наталья Викторовна – ,кандидат медицинских наук, доцент кафедры патофизиологии Института биодизайна и моделирования сложных систем

119991 Москва, ул. Большая Пироговская, д. 2, стр. 4

Scopus Author ID: 57208129705



А. Д. Макацария
ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет)
Россия

Макацария Александр Давидович – доктор медицинских наук, профессор, академик РАН, заведующий кафедрой акушерства и гинекологии Клинического института детского здоровья имени Н.Ф. Филатова

119991 Москва, ул. Большая Пироговская, д. 2, стр. 4

Scopus Author ID: 57222220144,

Researcher ID: M-5660-2016



Рецензия

Для цитирования:


Бицадзе В.О., Хизроева Д.Х., Гри Ж., Шульман С., Шкода А.С., Третьякова М.В., Макацария Н.А., Слуханчук Е.В., Панкратьева Л.Л., Петровский М.И., Машечкин И.В., Блинов Д.В., Цибизова В.И., Гадаева З.К., Паньшин С.С., Самбурова Н.В., Макацария А.Д. Патогенетическое и прогностическое значение воспаления и нарушений в оси ADAMTS-13/vWF у больных тяжелой формой COVID-19. Акушерство, Гинекология и Репродукция. 2022;16(3):228-243. https://doi.org/10.17749/2313-7347/ob.gyn.rep.2022.327

For citation:


Bitsadze V.O., Khizroeva J.Kh., Gris J., Schulman S., Shkoda A.S., Tretyakova M.V., Makatsariya N.A., Slukhanchuk E.V., Pankratyeva L.L., Petrovskiy M.I., Mashechkin I.V., Blinov D.V., Tsibizova V.I., Gadaeva Z.K., Panshin S.S., Samburova N.V., Makatsariya A.D. Pathogenetic and prognostic significance of inflammation and altered ADAMTS-13/vWF axis in patients with severe COVID-19. Obstetrics, Gynecology and Reproduction. 2022;16(3):228-243. https://doi.org/10.17749/2313-7347/ob.gyn.rep.2022.327

Просмотров: 1143


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.


ISSN 2313-7347 (Print)
ISSN 2500-3194 (Online)