Pseudo-Labeling dalam Pengembangan Model Deep Learning

Yahya Ayas Firdausi
Mahasiswa Sarjana Teknik Biomedis
Departemen Teknik Elektro dan Teknologi Informasi
Fakultas Teknik
Universitas Gadjah Mada

Penggunaan deep learning semakin berfokus pada tugas-tugas yang sulit, sehingga jumlah dan ketersediaan data yang merepresentasikan kondisi real-world menjadi krusial. Untuk masalah jumlah data, pseudo-labeling menjadi metode yang digunakan dalam semi-supervised learning.

Pseudo-labeling memungkinkan model memanfaatkan data tanpa label dengan menghasilkan label semu (pseudo-label) berdasarkan prediksi model yang memiliki tingkat kepercayaan lebih tinggi (teacher model).

Meskipun pendekatan ini mampu mengurangi kebutuhan labeling data manual yang mahal dan memakan waktu, penerapannya pada citra medis memiliki tantangan yang lebih kompleks dibandingkan dengan citra umum (seperti klasifikasi kendaraan roda empat). Karakteristik citra medis yang memiliki variasi tinggi, ketidakseimbangan kelas, serta kebutuhan akurasi yang sangat ketat menyebabkan kesalahan kecil pada pseudo-label dapat memberikan dampak besar terhadap performa model.

Salah satu keterbatasan utama pseudo-labeling adalah munculnya confirmation bias atau data semu yang dihasilkan berasal dari kesalahan teacher model yang diperkuat dengan dilatih ulang. Pada citra medis, masalah ini menjadi krusial karena ketika label yang salah tersebut digunakan untuk memperbarui model, model dapat semakin yakin terhadap pola yang keliru dan menurunkan kemampuan generalisasi terhadap data baru. Selain confirmation bias, kualitas pseudo-label sangat bergantung pada mekanisme estimasi kepercayaan (confidence estimation) dan pemilihan ambang batas (confidence threshold).

Metode seperti FixMatch menunjukkan bahwa penggunaan ambang kepercayaan yang terlalu rendah dapat meningkatkan jumlah label semu yang salah, sedangkan ambang yang terlalu tinggi dapat menyebabkan sebagian besar data tidak dimanfaatkan karena hanya sedikit prediksi yang dianggap valid.

- Sohn et al., 2020

Permasalahan ini semakin kompleks pada pencitraan medis karena distribusi data sering mengalami class imbalance, dimana kelas mayoritas dapat menghasilkan prediksi dengan tingkat keyakinan tinggi dibandingkan kelas minoritas. Akibatnya, pseudo-labeling berpotensi memperbesar ketidakseimbangan kelas dengan menghasilkan lebih banyak label semu untuk kelas dominan dan mengabaikan kelas yang jarang ditemukan.

Keterbatasan lain yang signifikan adalah pengaruh domain shift dan variasi prosest akuisisi. Dataset medis sering berasal dari rumah sakit, scanner, protokol pewarnaan, atau populasi pasien yang berbeda, sehingga distribusi citra tanpa label dapat berbeda dari data berlabel yang digunakan untuk melatih model awal. Dalam kondisi tersebut, model dapat menghasilkan pseudo-label yang tidak akurat karena mengambil keputusan berdasarkan karakteristik yang tidak relevan secara klinis.

Kesimpulan

Meskipun berbagai strategi telah banyak dikembangkan, pseudo-labeling masih memiliki keterbatasan dalam menjamin keandalan label citra medis yang dihasilkan. Oleh karena itu, penggunaan pseudo-labeling pada citra medis tetap membutuhkan mekanisme validasi tambahan dari praktisi klinis untuk menjaga kualitas model dalam pengambilan keputusan medis.