Tıbbi Yapay Zeka Literatüründe Büyük Skandal: Sahte Veriler Klinik Uygulamalara Sızıyor

Tıbbi Veri Setlerinde ‘Rambo’ Sürprizi

Avustralya’daki Queensland Teknoloji Üniversitesi’nden istatistikçi Adrian Barnett, çevrimiçi bir tıbbi görüntü veri setini incelerken son derece tanıdık yüzlerle karşılaştı. Sylvester Stallone’un Rambo karakteri ve hemen ardından kırmızı halıdaki bir başka fotoğrafı. Aynı veri setinde George Clooney, Angelina Jolie ve Daniel Craig gibi Hollywood yıldızlarının da aynı fotoğraflarla defalarca yer aldığı görüldü. Barnett bu tabloyu, “Bu kelimenin tam anlamıyla gülünç, komik derecede kötü bir veri seti” sözleriyle özetliyor.

Ancak işin trajikomik kısmı, “droopy” (sarkık) adını taşıyan ve Google’ın sahibi olduğu açık kaynaklı veri platformu Kaggle’da barındırılan bu klasörün bir ‘ünlü bulmaca oyunu’ olmaması. Bu veri seti, saygın bilimsel dergilerden Scientific Reports‘ta yayımlanan ve felç (inme) vakalarının erken teşhisi için geliştirilen kestirimci bir klinik modeli (predictive clinical model) eğitmek amacıyla kullanıldı. Bu olay, araştırmacıların ve makine öğrenimi (Machine Learning) uzmanlarının sıklıkla başvurduğu açık veri havuzlarındaki devasa bir kalite kontrol krizinin sadece buzdağının görünen yüzü.

Kaggle’dan Kliniğe: Veri Nasıl ‘Aklanıyor’?

Barnett ve doktora öğrencisi Alexander Gibson’ın yürüttüğü derinlemesine analizler, Kaggle gibi platformlardaki doğrulanmamış verilerin bilimsel literatür üzerinden nasıl meşrulaştırıldığını ve klinik kullanıma kadar nasıl sızdığını gözler önüne seriyor. İkili, medRxiv’de şubat ayında yayımladıkları ön baskı (preprint) makalesinde, felç ve diyabet üzerine tablo halindeki hasta verilerini içeren iki farklı Kaggle veri setini inceledi.

“Verilerin nereden geldiğini aramaya başladım. Aradım, aradım ve hiçbir bilgi bulamadım. Hiçbir temel kontrolden geçmemiş verilerle gerçekmiş gibi araştırma yapanlara sempati duymuyorum.” – Alexander Gibson

Araştırmacılar, arama motorlarında sadece ‘Kaggle’ ve ‘stroke’ (felç) kelimelerini aratarak skandalın boyutlarına ulaştı. İncelenen “droopy” veri setinde, bebeklerin, çocukların ve ünlülerin fotoğraflarının yanı sıra, felç yerine Bell paralizisi geçiren hastaların görsellerinin bulunduğu tespit edildi. Platformdaki veri setinin yaratıcısı, bariz kopyalamalara rağmen klasörün “farklı hastalara ait 1024 görüntü” içerdiğini iddia ediyordu.

Tehlikeli Bir Tablo: Yüzlerce Makale Şüpheli

Barnett ve Gibson, sorunlu diyabet ve felç veri setlerine dayanarak oluşturulmuş tam 124 yayımlanmış makale tespit etti. Bu çalışmaların her biri, klinik kestirimci modellerde veri kökenini (data provenance) sorgulayan temel kontrol listelerinden sınıfta kaldı. Araştırmaların ortaya koyduğu temel problemler şunlar:

• Gerçek dünya verilerinde olması imkansız düzeyde eksik değer (missing value) yoksunluğu.
• Binlerce kez kopyalanmış ve tekrar eden hasta gözlem verileri.
• Orijinal kaynağı belli olmayan sentetik verilerin, gerçek klinik veriler gibi sunulması.

Daha da vahimi, bu şüpheli çalışmalardan bazılarının doğrudan hastalara yönelik pratik müdahale önerilerinde bulunmasıydı. Bu makalelerin çoğunda herhangi bir etik kurul onayı dahi yer almıyordu. İçlerinden birinin geliştirdiği modelin Kaliforniya Teknoloji Enstitüsü (Caltech) ve Güney Kaliforniya Üniversitesi adına tescilli bir tıbbi cihaz patentine bağlandığı ortaya çıktı. Diğer makaleler ise modellerinin Endonezya’daki bir hastanede veya yerel kalp kliniklerinde aktif olarak kullanıldığını iddia ediyordu.

Bilimsel Dergiler ve Platformlar Savunmada

Skandalın patlak vermesinin ardından bilim dünyasında geri çekme (retraction) dalgası başladı. Springer Nature, aralarında Scientific Reports‘ta yayımlananların da bulunduğu üç makaleyi verilerin kaynağını ve doğruluğunu kanıtlayamadıkları gerekçesiyle geri çekti. Diğer üç makale ise halen soruşturma altında.

Elsevier ve MDPI gibi dev yayıncılar da kendi dergilerinde yayımlanan onlarca makale için soruşturma başlattıklarını duyurdu. KU Leuven’den biyoistatistikçi Ben Van Calster, veri kökeni yönergelerinin geliştirilmesine katkıda bulunan bir isim olarak, bu tablonun sürpriz olmadığını belirtiyor. Benzer sorunların COVID-19 tahmin modellerinde de yaşandığını, özellikle görüntü tabanlı modellerin yüksek önyargı riski (bias) taşıdığını vurguluyor.

Akademik Baskı ve Ödül Sisteminin Çöküşü

Peki bu kalite kontrol eksikliği nasıl bu kadar yaygınlaşabiliyor? Barnett ve Gibson’a göre, akademideki ‘yayın yapma baskısı’ ve Kaggle’ın teşvik yapısı bu sorunu körüklüyor. Kaggle, popüler veri setleri yükleyen kullanıcıları sıralama ve rozetlerle ödüllendiriyor; bu da veri setlerinin özgeçmişlerde bir övünç kaynağı olarak kullanılmasına yol açıyor. Kaggle yetkilileri ise platformun, verilerin gerçekliğini denetlemek yerine topluluk bildirimlerine dayandığını, bu verilerin birincil tıbbi kanıt olarak değil, kıyaslama (benchmarking) ve geliştirme amacıyla kullanılması gerektiğini savunuyor.

Ancak, meta-analizler ve derleme makaleleri aracılığıyla bu veriler literatürde adeta ‘aklanıyor’. Tespit edilen makalelerin 86 derleme makalesinde referans olarak gösterilmesi, hatalı temeller üzerine inşa edilen devasa bir bilimsel yanılgı ağı yaratıyor. Gibson’ın sorusu ise sektördeki herkesin yüzleşmesi gereken bir gerçeği özetliyor: “Hastaları mı önemsiyorsunuz, yoksa bir makale yayınlamayı mı?”