Oleh Juneman Abraham, Himpunan Psikologi Indonesia; Dasapta Erwin Irawan, Institut Teknologi Bandung, dan Surya Dalimunthe, Universitas Islam Sumatera Utara
Pada 2017 Kementerian Riset, Teknologi, dan Pendidikan Tinggi (Kemristekdikti) meluncurkan SINTA (Science and Technology Index), sistem bibliometrik untuk mencatat dan menganalisis dokumen ilmiah serta sitiran karya ilmiah ilmuwan, dosen dan peneliti. Sistem ini digunakan untuk mengukur kinerja akademisi dan lembaga penelitian di Indonesia, dan untuk menentukan siapa yang akan mendapatkan pendanaan riset.
Sayangnya, sistem bibliometrik dengan menyertakan Scopus, basis data komersial milik Elsevier dan pembobotan yang dominan untuk jumlah dokumen dan sitiran, menjadikan SINTA tidak efektif dalam mengukur penelitian dan pengembangan Indonesia. Bahkan sistem ini bisa berisiko mendorong akademisi Indonesia melanggar etika ilmiah dan korupsi akademik.
Dogma indikator
Riset mentransformasi pengetahuan menjadi ilmu yang memberikan sumbangan untuk pemaknaan, penjelasan, prediksi, dan kendali terhadap berbagai permasalahan hidup kita. Riset yang baik bisa meningkatkan kesejahteraan masyarakat.
Kemristekdikti bercita-cita untuk membangun daerah berbekal riset dan inovasi, sebagaimana di negara-negara berkembang lain di Afrika dan Amerika Tengah.
Untuk membantu pengambil kebijakan mengambil keputusan mengenai riset dan pengembangan banyak negara berusaha menciptakan sistem pengukuran (biliometrik) untuk mengevaluasi kinerja sektor riset. Indikator yang diukur dalam bibliometrik adalah luaran (output) penelitian sebagai wakil (proxy) dari prosedur, proses, dan evolusi riset.
Lebih dari 150.000 akademisi Indonesia terdaftar dalam sistem bibliometrik SINTA. Namun sistem pengukuran berbasis bibliometrik telah ditemukan bermasalah. Keterwakilan luaran penelitian terhadap kualitas masih sebatas asumsi, karena, “kualitas” sebuah riset merupakan konsep abstrak yang masih sulit dikenali oleh bibliometrik.
Banyak bukti di seluruh dunia menunjukkan perilaku memanipulasi indikator, baik secara berkelompok maupun perorangan sering terjadi dalam sistem bibliometrik. Secara lebih khusus, penggunaan metrik-metrik buatan entitas bisnis mulai dipertanyakan bahkan digugat di belahan dunia Barat.
Kelaziman perilaku-perilaku seperti ini dalam berbagai penerapan indikator dan ukuran telah memunculkan adagium Campbell: “Ketika indikator kuantitatif dijadikan dasar pengambilan keputusan, indikator tersebut rentan dimanipulasi para pihak yang terdampak keputusan tersebut”, dan adagium Goodhart: “Ketika ukuran dijadikan tujuan, ukuran tersebut tidak lagi berguna”.
Insentif untuk manipulasi
Inilah yang tampaknya terjadi di lingkungan periset Indonesia. Karena peringkat akademisi disusun berdasarkan skor SINTA, mereka mengalami kesulitan untuk fokus pada pengembangan ilmu pengetahuan, dan sibuk mengejar indikator.
Scopus sekarang menjadi begitu penting bagi keberhasilan karir akademisi di Indonesia. Hal ini karena SINTA “menyalin data artikel atau publikasi dari Scopus” dan memberinya bobot terbesar, baik jumlah dokumen maupun sitiran. Untuk itu, peneliti perlu memiliki Scopus ID dengan pintu masuk minimal satu dokumen di Scopus.
Pemerintah juga menganjurkan pengelola jurnal ilmiah dalam negeri yang ingin lolos akreditasi jurnal ilmiah nasional (ARJUNA), untuk memprioritaskan editor dan reviewer yang memiliki Scopus ID sebagai personel jurnal dan mengedepankan informasi Scopus ID pada profil tim editorial jurnal.
Beberapa hal yang menghambat peneliti Indonesia untuk menerbitkan artikel ilmiah dalam jurnal terindeks Scopus di antaranya termasuk belum ada jurnal berbahasa Indonesia yang terindeks Scopus–ini menjadi penghambat bagi akademisi Indonesia yang kemampuan menulis bahasa Inggrisnya terbatas.
Selain itu, umumnya jurnal ilmiah yang terindeks Scopus meminta biaya pemrosesan artikel yang cukup tinggi, khususnya bila ingin terbit dengan akses terbuka di penerbit besar. Terakhir, sebagian peneliti gamang dengan proses penelaahan sejawat yang harus dilewati untuk menerbitkan artikel ilmiah mereka.
Untuk mengatasi hal ini, kebanyakan akademisi Indonesia meningkatkan publikasi yang terindeks oleh Scopus melalui konferensi akademik yang menghasilkan artikel prosiding terindeks Scopus. Konferensi ini dapat diadakan dengan biaya yang relatif terjangkau.
Artikel prosiding adalah publikasi yang diterbitkan dalam rangka konferensi, seminar, dan lokakarya. Karena sifatnya yang singkat dan lebih informal, berbeda dengan artikel dalam jurnal ilmiah, meski terindeks Scopus artikel prosiding diterbitkan tanpa melalui proses peninjauan sejawat yang memadai.
Peninjauan sejawat penting karena sains tidak hidup dalam ruang hampa. Kualitas sebuah artikel yang telah ditinjau sejawat yang memiliki keahlian dalam bidang artikel itu, dari segi argumentasi, metodologi, dan analisis, lebih terjamin.
Mengenai proses peninjauan, umumnya penerbit prosiding asing yang terhubung dengan Scopus hanya melakukan proses peninjauan yang superfisial (misalnya terkait tata letak dan gaya selingkung) atau bahkan tidak ada sama sekali karena proses peninjauan telah diserahkan kepada penyelenggara acara dan aktivitas.
Dalam SINTA, bobot tiga artikel prosiding terindeks Scopus sudah mampu mengganti bahkan melampaui satu artikel jurnal.
Terciptalah industri baru sebagai dampak dari regulasi ini, yakni berupa penyelenggaraan acara-acara seperti konferensi di atas.
Penyalahgunaan sitiran
Fokus SINTA terhadap jumlah sitiran telah mendorong akademisi melanggar etika. Mereka melakukan ini melalui sitiran karya sendiri dan sitiran kolaboratif yang tidak relevan serta eksesif.
Kemristekdikti juga menyadari hal ini. Pada 19 Desember 2018, Kementerian mengeluarkan surat Pemberitahuan Pengecekan Kualitas Data di SINTA dan menyebutkan telah terjadi pelanggaran etika oleh beberapa akademisi.
Tidak lama sesudah itu beberapa akun SINTA dibekukan. Bahkan peneliti yang sebelumnya mendapatkan skor SINTA tertinggi rekam jumlah publikasi Scopus-nya menjadi nol. Terdapat juga akun-akun SINTA yang dihapuskan peringkat (rank) SINTA-nya.
Potensi besar munculnya otoritas palsu
Dengan sistem yang ada sekarang, informasi “kepakaran” seseorang di SINTA tidak terjamin secara objektif dan representatif. Ludo Waltman, seorang peneliti bibliometrik dari CWTS Leiden University, berpendapat bahwa SINTA memberikan motivasi yang kuat bagi penambahan penulis yang tidak memiliki kontribusi.
SINTA tidak memboboti secara berbeda dalam skoringnya antara penulis (author) dan penulis pendamping (co-author). Maka seorang penulis dapat menambahkan nama siapa pun sebagai penulis pendamping. Penulis pendamping tersebut akan mendapat skor SINTA yang sama dengan penulis.
Hal ini merupakan sisi gelap dari relasi sosial dalam sains, yakni gotong-royong guna membantu atau “mengangkat” secara instan sejawat yang sesungguhnya tidak memiliki sumbangsih. Kenyataan ini tumbuh subur lebih-lebih dalam masyarakat ilmiah kolektivistik seperti Indonesia, yang juga dibebani secara struktural dengan target-target kuantitatif. Hal ini dapat semakin terstimulasi dengan peluncuran medan perlombaan skor antardepartemen.
Di samping itu, seseorang yang terdaftar di SINTA juga dapat langsung menyunting (menambah, mengurangi, mengubah) sekehendaknya subjek atau wilayah risetnya, melalui Author Login, tanpa verifikasi dari asosiasi/komunitas keilmuan/profesi yang terkait.
Dimensions memiliki algoritme yang mampu mendeteksi area riset yang mengindikasikan kepakaran berdasarkan artikel penelitian (article based), bukan dari jurnal/prosiding tempat artikel dipublikasi (journal-based). Pengadopsian praktik Dimensions oleh SINTA dalam konteks ini dapat menjadi suatu cara menghadang pemalsuan kepakaran.
Otoritas palsu dalam sebuah sistem akademik dapat menghasilkan korupsi akademik. Korupsi akademik merupakan sebuah payung istilah yang menunjukkan perlawanan terhadap integritas, meritokrasi (sistem penghargaan kepada yang layak), dan nilai-nilai moral pendidikan, serta peruntuhan demokratisasi pengetahuan.
Dalam dunia publikasi ilmiah, korupsi akademik dapat berwujud adanya kelompok-kelompok orang di luar komunitas ilmiah (seperti akreditor, administrator, bahkan komite fakultas) yang memiliki kekuasaan dan menentukan nilai, kontribusi, harga (price), dan dampak dari gagasan yang terbit di jurnal. Adanya nilai ekonomis dari poin publikasi di Scopus, bila disandingkan dengan celah industrialisasi dalam dunia pendidikan, sitiran abusif, dan otoritas palsu, menghadirkan potensi korupsi akademik itu.
Kualitas penelitian stagnan
Penggunaan Scopus sebagai penyaring kualitas pun tidak bisa berjalan dalam kondisi ini. Hal ini dapat menjadi salah satu penjelasan mengapa di tengah-tengah kenyataan bahwa kuantitas publikasi Scopus Indonesia menggembirakan, melampaui Singapura dan Thailand, tapi hanya tiga perguruan tinggi Indonesia yang masuk dalam peringkat 500 besar dunia.
Artinya, jumlah universitas Indonesia yang masuk peringkat dunia tidak bergerak seiring pertumbuhan jumlah publikasi, meski SINTA dan lembaga pemeringkat universitas berkelas dunia QS sama-sama menggunakan bahan dasar Scopus.
Indonesia memiliki program dengan menggunakan dana publik untuk melampaui Malaysia dalam jumlah publikasi Scopus, atau yang disebut sebagai “Ambisi ASEAN”. Akademisi Malaysia sendiri tampak tidak mempersepsikan adanya “perlombaan jumlah” ini. Mereka mengecualikan publikasi artikel prosiding serta artikel kajian (review) ketika mengevaluasi kinerja riset dari pendidikan tinggi Malaysia.
Apa langkah selanjutnya?
Penyertaan identitas Scopus di laman depan SINTA dapat diganti dengan identitas ORCID. Identitas ini, selain bisa didapatkan tanpa biaya, juga memenuhi fungsi internasionalisasi serta pemetaan kontribusi penelaahan sejawat dalam sains.
ORCID adalah sarana pengukuran prestasi riset yang bersifat terbuka dan humanistik yang mengikutkan bukan hanya unsur publikasi, tapi juga unsur manusia, organisasi, dan sumber daya yang terlibat di dalamnya. Identitas ini mampu menampilkan kinerja dosen dan peneliti dengan sumber-sumber data yang lebih luas, apalagi Kemristekdikti telah menjalin hubungan dengan ORCID sejak 2017.
Dengan demikian kerentanan sebuah sistem ukuran produktivitas dan reputasi dosen/peneliti untuk “dipermainkan” dapat dikurangi secara signifikan.
Yang dibutuhkan dunia riset Indonesia adalah pluralisme dalam bibliometrik yang mampu mengukur masukan, proses, luaran, dan dampak riset. Perlu diadakan studi eksperimental dan mendalam, serta melibatkan data periode Pra-SINTA, guna menghasilkan pangkalan data bibliometrik Indonesia dengan algoritme yang pas.
Dalam hal itu, SINTA perlu mendata dan membandingkan angka luaran penelitian dengan angka litbang (R&D Statistics) seperti pendanaan, taraf kebebasan akademik, aktivitas, dan berbagai konteks yang dialami peneliti bersama lingkungannya. Setidaknya sebagai transisi menuju bebasnya dunia akademik Indonesia dari ukuran-ukuran kinerja riset yang mengedepankan aspek metrik-kuantitatif.
Dana besar yang selama ini digelontorkan oleh sejumlah lembaga pendidikan tinggi untuk mengejar jumlah publikasi dan sitiran Scopus sebagai penyusun skor SINTA hendaknya sebagian dialihkan untuk membiayai studi tersebut sebagai kolaborasi antar-lembaga.
Untuk saat ini, sangat mendesak bagi SINTA untuk mengubah orientasinya dari sistem pemeringkat berdasarkan jumlah publikasi dan sitiran menjadi penyedia data publikasi dan sitiran mandiri yang tidak bergantung pada basis data komersial.
Hal tersebut genting karena akses terhadap sitiran dan referensi merupakan suatu tulang punggung kualitas riset dan kebutuhan bagi keutuhan pengetahuan manusia yang sepantasnya menjadi barang publik. Faktanya, SINTA saat ini dapat menayangkan jumlah sitiran, tetapi tidak dapat menghasilkan informasi dibalik angka jumlah itu.
Dengan demikian, SINTA belum memenuhi fungsi relasi yang memadai untuk memetakan kepakaran. Bernegosiasi bahkan meminta penerbit komersial untuk membuka sepenuhnya data sitiran merupakan pilihan yang baik untuk meningkatkan SINTA.
Di samping itu, SINTA perlu mengeluarkan artikel-artikel yang berasal dari: jurnal yang terindikasi melanggar etik, jurnal yang masuk daftar hitam, serta prosiding dan jurnal yang masuk dalam temuan negatif yang tidak diakui untuk kenaikan pangkat akademik karena dinilai tidak terjamin mutunya.
Lebih baik lagi, berdasarkan kedua adagium di atas, jika pemeringkatan pada SINTA dihilangkan sama sekali karena sains adalah soal mengubah nasib umat manusia, soal komunikasi dan pengasuhan, bukan tentang membuat dinding dan mengamankan tempat Anda di papan skor.
Tanggapan Kemristekdikti
Sadjuga, Direktur Pengelolaan Kekayaan Intelektual Kemristekdikti, yang dimintai tanggapan oleh The Conversation, menyatakan pihaknya siap menerima kritik untuk kebaikan SINTA dan kemajuan riset Indonesia. “Kalau ada yang keliru dan kecurangan dalam penggunaan SINTA, jangan dimatikan, tapi diperbaiki,” ujarnya. Tim SINTA sedang mengembangkan sistem deteksi terhadap kecurangan dan integritas.
Kementerian, kata dia, akan tetap menggunakan SINTA karena sistem buatan Indonesia ini mengumpulkan profil peneliti dengan menggabungkan beberapa indeks dari beberapa sumber. Karena SINTA masih baru tentu saja ada kelemahan-kelemahan yang perlu diperbaiki. “Kalau hanya pakai ORCID, itu juga tidak ada filternya,” ujarnya.
Ocky Karna Radjasa, Direktur Riset dan Pengabdian Kepada Masyarakat, mengatakan kementeriannya akan terus mengevaluasi penggunaan SINTA, termasuk adanya kecurangan tersebut. Kementerian, kata dia, akan tetap menggunakan SINTA karena sistem bibliometrik ini bisa mendokumentasikan publikasi baik yang terindeks maupun tidak terindeks di Scopus, terakreditasi atau tidak terakreditasi, buku, hak kekayaan intelektual dan pengabdian masyarakat yang dilakukan dosen dan peneliti.
“Publikasi hasil riset hanya satu dari output riset, nanti akan ada hak kekayaan intelektual, paten, rekomendasi kebijakan, dan lainnya,” kata Ocky. “Kami akan tetap menggunakan SINTA sambil terus mendorong peningkatan kualitas penelitian.”
Juneman Abraham, Head of Research and Publication, Himpunan Psikologi Indonesia; Dasapta Erwin Irawan, Lecturer at Department of Geology, Institut Teknologi Bandung, dan Surya Dalimunthe, Peneliti Sains Terbuka dan Studi Islam, Universitas Islam Sumatera Utara
Artikel ini terbit pertama kali di The Conversation. Baca artikel sumber.
Ikuti tulisan menarik The Conversation lainnya di sini.
