Kanser Araştırmalarında Büyük Şok: Her On Makaleden Biri Sahte Olabilir

Bilimsel Yayıncılığın Karanlık Yüzü: Makale Fabrikaları

Son yirmi yılda bilim dünyası, kâr amacı güden ve literatürde ‘makale fabrikası’ (paper mill) olarak adlandırılan organizasyonlar tarafından üretilen düşük kaliteli, manipüle edilmiş veya tamamen sahte araştırmaların istilasına uğradı. Bilimsel yayınlara sunulan makalelerin yüzde 2 ila 46’sının bu şüpheli fabrikaların ürünü olduğu tahmin edilirken, 2023 verilerine göre yalnızca biyomedikal araştırmalardaki sorunlu makale oranı yüzde altıya ulaştı.

Makale fabrikaları, seri üretim yapabilmek için genellikle belirli şablonlara güveniyor. Bu durum, bilimsel makalelerde metin ve mizanpaj benzerlikleri, hipotezlerin ve deneysel tasarımların yüzeysel açıklamaları, manipüle edilmiş veya yeniden kullanılmış dijital görüntüler ve reaktiflerin yanlış tanımlanması gibi ortak özellikleri beraberinde getiriyor. Bu ‘üretim reçeteleri’ sahtekarların işini hızlandırsa da, aynı zamanda bilimsel dürüstlük (science integrity) araştırmacılarının sahte yayınları tespit edebilmesi için dijital birer parmak izi işlevi görüyor.

Yapay Zeka Dedektifi: 2.6 Milyon Makale Mercek Altında

Geçtiğimiz günlerde prestijli tıp dergisi The BMJ‘de yayımlanan devrim niteliğinde bir çalışma, bu sorunun kanser araştırmalarındaki yıkıcı boyutunu ortaya koydu. Queensland Teknoloji Üniversitesi’nden istatistikçi Adrian Barnett liderliğindeki bir bilim ekibi, kanser araştırmalarındaki yayınları taramak ve makale fabrikalarından çıkma ihtimali yüksek olanları işaretlemek için yeni bir makine öğrenimi (machine learning) aracı geliştirdi.

Ekip, ilk etapta metinlerdeki kalıpları tanımlayan ve ardından bunları daha önce geri çekilmiş (retracted) sahte makalelerdeki metinsel kalıplarla karşılaştıran bir algoritma eğitti. Modelin eğitimi, Retraction Watch veritabanındaki fabrikasyon etiketli yayınlar kullanılarak gerçekleştirildi. Performans testlerinde, yapay zeka aracı sorunlu makaleleri yaklaşık yüzde 90 doğrulukla tespit etmeyi başardı.

Kanser Araştırmaları Neden Hedefte?

Geliştirilen araç, 1999 ile 2024 yılları arasında yayımlanmış tam 2,6 milyon kanser araştırması makalesini taradı. Sonuçlar bilim dünyası için alarm vericiydi: Taranan literatürün yaklaşık yüzde 10’una denk gelen tam 261.245 yayının özet (abstract) ve başlıklarında, makale fabrikalarından çıkmış olabileceklerine dair güçlü metinsel işaretler bulundu.

“Maalesef kanser araştırmaları bu sahte makaleler için her zaman büyük bir hedef olmuştur. Bunun bir nedeni kanser alanında çalışmanın getirdiği prestij ve bu alanda çok sayıda derginin bulunmasıdır. Ayrıca temel bilimler, veri uydurmanın nispeten daha kolay olması nedeniyle bu fabrikaların her zaman radarındadır.” – Adrian Barnett

En Çok Hangi Kanser Türleri Etkileniyor?

Sahte makale şüphesi taşıyan yayınların tüm kanser türlerine eşit dağılmadığı, belirli alanlarda yoğunlaştığı görüldü. Araştırmaya göre, sahte olma ihtimali en yüksek makalelerin odaklandığı kanser türleri şunlar oldu:

• Mide Kanseri: Yüzde 22
• Kemik Kanseri: Yüzde 21
• Karaciğer Kanseri: Yüzde 20
• Özofagus (Yemek Borusu) ve Yumurtalık (Ovarian) Kanserleri

Yüksek Etki Faktörü (Impact Factor) Artık Bir Kalkan Değil

Çalışmanın en çarpıcı bulgularından biri de makale fabrikalarının yalnızca düşük profilli veya ‘yağmacı’ (predatory) dergileri hedef almadığını göstermesi oldu. Yapay zeka aracı, en üst düzey (top-tier) dergilerde yayımlanan şüpheli makalelerin oranında da sürekli bir artış olduğunu ortaya koydu. Bu durum, yüksek etki faktörünün (impact factor) artık araştırma kalitesi için güvenilir bir gösterge olamayacağına dair endişeleri derinleştiriyor.

Coğrafi Önyargı mı, Gerçeklik mi?

Tarama sonuçları, potansiyel sahte makalelerin büyük bir kısmının (yüzde 36) Çin merkezli kurumlardaki yazarlara ait olduğunu gösterdi. Bu veri geçmiş raporlarla uyumlu olsa da, bazı dijital adli tıp uzmanları temkinli yaklaşıyor. Campinas Üniversitesi’nden araştırmacı João Phillipe Cardenuto, veri setlerinin dillere göre dengelenmesine çalışılmış olsa bile, modelin Çinli yazarların bilimsel yazımda sıkça kullandığı masum dilbilgisi kalıplarını sahtekarlıkla karıştırabileceği konusunda uyarıyor.

Geliştirilen bu yeni tarama aracı her ne kadar yayıncılar için tasarlanmış olsa da, akademik dünyadaki herkesi daha dikkatli olmaya itiyor. Uzmanlar, literatürdeki sahte yayın oranının yüzde ondan bile fazla olabileceğini; zira makine öğrenimi araçlarının yalnızca mevcut şablonları tanıdığını, daha sofistike sahtekarlık yöntemlerinin henüz radarın altında kalmış olabileceğini belirtiyor.