У 2019 році студенти українських медичних вишів уперше складатимуть іспит із Міжнародних основ медицини (IFOM – International Foundations of Medicine). Цей тест розробляє Національна рада медичних екзаменаторів США (NBME – National Board of Medical Examiners), його використовує багато країн, часто замість національного. Міністерство охорони здоров’я України включило IFOM до Єдиного державного кваліфікаційного іспиту (ЄДКІ), і 1-3 липня тест проходять третьокурсники.
IFOM – не американський, а міжнародний тест
На хвилі нововведень у сфері медичної освіти до МОЗ лунало багато претензій від студентів та викладачів: мовляв, навіщо українським студентам американські іспити? Ймовірно, під американським іспитом мається на увазі тест USMLE (United States Medical Licensing Examination), який складають студенти-медики у США. Розробкою і USMLE, і IFOM керує Національна рада медичних екзаменаторів, проте це різні іспити. USMLE – виключно американський продукт для американських студентів, він не продається за кордон. Натомість IFOM позбавлений національних особливостей і розробляється для міжнародних потреб.
«Експерти, викладачі з різних університетів різних країн складають тестові запитання, які потрапляють до банку запитань Нацради медичних екзаменаторів. Вони перекладаються національними мовами. Цей іспит може бути проведений у різних країнах, різних університетах. Той самий іспит із подібними запитаннями. Цим інструментом можна оцінити і порівняти рівень підготовки студентів різних університетів, країн», – пояснив на прес-конференції в Києві заступник міністра охорони здоров’я Олександр Лінчевський.
Читайте також: Як виховати хорошого лікаря
Базові медичні дисципліни є єдиними для всіх країн, адже не існує національних особливостей анатомії. «Ми кажемо, що лікар має вчити медицину, а не тест, має знати дисципліну, матеріал. Відповідно, оптимальний для нас спосіб вимірювання рівня його підготовки – тестувати його розуміння предмету», – каже він.
Посадовець додає, що існують певні захворювання, які частіше зустрічаються в Індії і відсутні в Канаді, графік вакцинації може відрізнятися у США та Угорщині. Проте такі специфічні речі виключаються на етапі формування тестових запитань. «Перш ніж впровадити тестування, ми провели міжнародне моніторингове дослідження, щоб виявити можливі розбіжності в навчальних програмах. Щоб не тестувати тих речей, яких наші студенти ще не вчили. Дослідження дало нам можливість виявити ті блоки запитань, які не слід оцінювати в майбутньому. Наші студенти будуть це вчити, але не на перших трьох курсах, а пізніше», – говорить Лінчевський.
Пробний іспит: результат українських студентів – 27%
19 березня серед медичних студентів 4 курсу провели моніторинговий IFOM. У дослідженні взяло участь понад 6 тисяч студентів, його результат не впливав на оцінку, а участь була добровільна. За словами Лінчевського, іспит проводився за правилами Нацради медичних екзаменаторів, із заходами безпеки, відеофіксацією, таймінгом.
«Як проводиться іспит: буклети з роздрукованими запитаннями, варіантами відповідей перекладаються у США (українською мовою – Ред.), доставляються сюди з певними заходами безпеки, розвозяться по університетах, а після складання повертаються до NBME. Таким чином на рівні студентів, викладачів, адміністрації університетів, міністерства, центру тестування втручання в результат неможливе технічно. Результат підраховує NBME», – розповів заступник міністра.
Середній результат українських студентів – 27% правильних відповідей. Натомість міжнародна група, в яку входило 3,5 тис. осіб із різних країн, у середньому відповіла на 54% запитань.
Блакитним – результати української групи, синім – міжнародної. Горизонтальна лінія всередині блоку – середній результат.
Проте, як зазначає президент МГО «Універсальна екзаменаційна мережа» Сергій Мудрук, не можна категорично заявляти, що в Україні знання вдвічі гірші, ніж за кордоном.
За його словами, міжнародна група складала цей іспит як тестування високих ставок, тобто від результатів залежало, отримає людина доступ до професії чи ні. Студент для цього повністю мобілізується, на кілька місяців занурюється у підготовку, виконує багато рекомендацій, у тому числі щодо харчування перед тестом.
Читайте також: Кому премію Дарвіна?
Натомість українські студенти нічим не ризикували, їхня доля не залежала від результату. «У цьому сенсі для мене як тестолога це унікальний матеріал, бо він у чистому вигляді показує істинний рівень залишкових знань. Це ті знання, які людина здатна показати в немотивованому, нестресовому стані. Це спокійний режим прийому лікаря в поліклініці», – каже Мудрук.
Якби до українських студентів застосували стрес і від результату залежала хоча б доля курсу, вони показали б такий самий результат, як і міжнародна група, переконаний експерт.
«Як тестолог можу сказати: якщо ми бачимо такий експеримент у чистому вигляді й люди демонструють результат Х, то в разі застосування стресу до аудиторії буде 1,5Х… Рівень стресовості для людей, які складають еквівалент IFOM у США, більший, бо там це реально доступ до професії, яка забезпечує дохід, набагато вищий за середній. Середні результати американців вищі за 70%», – говорить він.
Що не так із «Кроками»
Із кінця 1990-х років в Україні діє система оцінювання студентів-медиків «Крок» за аналогією з USMLE. Тести для «Кроків» пишуть українські викладачі, і з часом виявилося, що ці тести не можуть об’єктивно оцінити знання.
У 2018 році МОЗ попросило в Центру тестування повну інформацію про результати «Кроків». На основі цих результатів вийшла стаття на VoxUkraine (https://voxukraine.org/longreads/kroks/index.html) за авторством Інни Совсун (колишня заступниця міністра освіти та радниця міністра охорони здоров’я) та Тетяни Тищук (редакторка VoxUkraine). Авторки склали графіки з результатами тестів за кожен рік, які показують, що відбулося втручання в нормальний розподіл балів. У статистиці графічне зображення такого нормального розподілу має форму дзвона. Тобто, невелика кількість студентів отримує найменшу кількість балів, зі зростанням балу кількість студентів теж зростає до певної точки, а потім так само плавно падає, і найвищі бали отримує також мало людей.
Натомість на графіках із результатами «Кроку-1» за 2015 рік спостерігається стрибок чітко на порозі «склав/не склав». При чому, коли поріг підняли із 50,5% до 60,5%, стрибок теж посунувся.
Сірий – кількість осіб, що набрали менше прохідного балу; бузковий та зелений – більше прохідного балу; вертикальна лінія – стрибок на рівні прохідного балу.
«Умовно кажучи, чомусь близько ста людей набирає 61% правильних відповідей, але 350 людей набирає 60%, що чітко співпадає з прохідним балом. Такий графік не може сформуватися природнім чином, це неможливо статистично. Я не буду робити голослівних заяв, про те, що це корупція, це мають доводити правоохоронні органи. Але ми точно спостерігаємо певні втручання в систему, які створюють ось такий неприродній графік», – говорить Совсун.
За її словами, частково цю аномалію можуть пояснити студенти, які не склали «Кроки» з першого разу і йдуть на перескладання. «При перескладанні вони використовують тести, які вже використовувалися. А якщо ти набираєш більше прохідного балу, тобі зараховують на рівні прохідного. Це може пояснити частину цього стрибка. Постає питання: навіщо нам тест, який можуть перескласти всі?», – каже вона.
Виходить, що «Крок» не виконує свою основну функцію й не відсіює найслабших студентів.
Якщо порівняти графіки результатів, то помітно, що «Кроки» – правозміщені (більшість складає добре), а IFOM – лівозміщений (більшість складає погано).
Лівозміщений графік складання тесту IFOM українськими студентами
За словами Мудрука, системи тестування іноді вироджуються, так сталося і з «Кроками», оскільки в мережі можна знайти масу аналогічних запитань. Відтак студенти запам’ятовують правильні відповіді й завдяки цьому складають тести добре.
Чому IFOM потрібен самим студентам
Якщо «Кроки», судячи з їхніх результатів, перевіряють рівень завчених знань, то IFOM – рівень застосування цих знань, професійний інтелект, вважає Мудрук.
«Люди побачили запитання в несподіваному формулюванні. Думаю, що з впровадженням IFOM він буде з лівозміщеного дрейфувати у бік нормального центрального розподілу. Думаю, що він з року в рік буде вимірювати не те, що вимірюють «Кроки». Вони вимірюють по суті одні й ті ж предмети за назвами, але на різному когнітивному рівні», – каже фахівець.
За його словами, хороші тести неможливо вгадати, у них завжди є неправильні варіанти відповіді, так звані дистрактори, привабливі для слабких осіб, які відповідають навмання. А результат IFOM свідчить про те, що студенти не вгадували, а читали тест і свідомо відповідали неправильно, базуючись на прогалинах у знаннях.
Читайте також: Сім запитань про медичну освіту
«За результатами IFOM ми побачили: попри те, що багато студентів, експертів, ректорів, народних депутатів скаржилися, що IFOM непридатний для оцінки вищої освіти в Україні – тест працює, щоб виявляти різні рівні підготовки студентів. Те, що результати різні і суттєво вищі за поріг вгадування, свідчить про те, що тест працює. Результат 27% – це низький бал, він буде вищим при складанні вмотивованого тесту, але при цьому він нижчий, ніж нам хотілося б, нам є куди рости», – зазначила Совсун.
Вона зазначає, що тест сам по собі не вирішить проблем медичної освіти в Україні, проте він задає стандарт, до якого мають підтягуватися заклади вищої медичної освіти. «У березні 2018 року університети вже знали, що буде змінюватися програма тестування. Вони мали час, щоб адаптувати програми, викинути з них гомеопатію й додати предмети, які їм потрібні, щоб підготуватися до іспиту. Сьогодні ми розраховуємо, що IFOM зможе мотивувати університети змінити програми підготовки, готувати їх до правдивого медичного тестування, а не до складання Кроків, якість яких є відверто низькою», – каже експертка.
Совсун очікує, що міжнародний тест буде стимулювати студентів до навчання, адже його неможливо купити, перескласти за відкритими буклетами чи зманіпулювати результатами.
Тим часом МОЗ нагадує, що поріг «склав/не склав» для тесту 1-3 липня буде формуватися після аналізу відповідей студентів, за аналогією з зовнішнім незалежним тестуванням. Тобто, якщо у тестах будуть питання з мінімальною кількістю правильних відповідей, то вони не впливатимуть на результат. Перескласти IFOM можна буде лише один раз, у серпні за власний кошт студента.
Міністерство планує, що певний час у ЄДКІ існуватимуть як «Крок», так і IFOM, щоб український іспит підтягувався до рівня міжнародного. Коли графіки результатів почнуть приблизно співпадати, Україна зможе відмовитися від IFOM, використовувати його зрідка як моніторинговий, а знання медиків оцінювати новим національним якісним «Кроком».