Mitigasi Risiko

3.1 Pemetaan Risiko pada Tridharma dan Tata Kelola

Implementasi KAG di perguruan tinggi membawa peluang besar, tetapi juga menghadirkan berbagai risiko yang perlu dikelola secara strategi. Terdapat beberapa risiko implementasi KAG pada perguruan tinggi yang meliputi

1. Risiko pada Aspek Pembelajaran

Aspek pembelajaran meliputi akademik, proses pembelajaran dan pengajaran. Dalam konteks akademik secara umum:

1. Penurunan Integritas Akademik

Mahasiswa dapat menggunakan KAG untuk menghasilkan tugas tanpa proses berpikir kritis (plagiarisme terselubung).

2. Ketergantungan Kognitif

Penggunaan KAG berlebihan dapat mengurangi kemampuan analisis, sintesis, dan problem solving mahasiswa. Risiko ini paling besar pada tahap awal studi, ketika mahasiswa sedang membangun fondasi berpikir runtut dan penguasaan ilmu dasar, seperti matematika, fisika, dan pemrograman dasar. Mahasiswa dapat tampak mampu menyelesaikan tugas ketika dibantu KAG, tetapi tidak mampu mengerjakannya secara mandiri tanpa bantuan KAG (cognitive surrender). Kesenjangan ini sering baru terlihat pada ujian tatap muka atau pada mata kuliah lanjutan yang mengandalkan penguasaan dasar tersebut.

3. Standarisasi Kualitas yang Bias

Output KAG sering bergantung pada data pelatihan yang belum tentu sesuai konteks lokal atau budaya akademik Indonesia.

4. Ketimpangan Akses (Digital Divide)

Mahasiswa dengan akses teknologi lebih baik akan lebih diuntungkan dibanding yang lain

5. Tuduhan pelanggaran yang keliru akibat alat deteksi KAG.

Alat pendeteksi teks KAG (GenAI detector) belum akurat dan andal (Direktorat Pembelajaran dan Kemahasiswaan, 2024, hlm. 79). Alat ini rawan menghasilkan positif palsu maupun negatif palsu dan mudah dikelabui melalui parafrase atau aplikasi humanizer. Alat ini juga berpotensi bias terhadap gaya tulis tertentu, misalnya tulisan penutur yang bukan penutur asli bahasa yang digunakan. Karena detektor sendiri merupakan sistem KA yang bersifat probabilistik, memverifikasi KAG dengan KA tidak menghilangkan potensi galat. Mahasiswa yang jujur dapat dirugikan apabila skor detektor diperlakukan sebagai bukti pelanggaran.

Dalam proses pembelajaran dan pengajaran:

1. Degradasi Peran Dosen

KAG dapat menggantikan sebagian fungsi pengajaran (content delivery), sehingga peran dosen bisa tereduksi jika tidak beradaptasi.

2. Kualitas Materi Pembelajaran Tidak Tervalidasi

KAG dapat menghasilkan konten yang salah (hallucination), jika tidak diverifikasi oleh dosen.

3. Personalisasi yang Bias

Sistem KAG adaptive learning bisa memperkuat bias atau mengarahkan mahasiswa pada jalur pembelajaran yang sempit.

4. Etika Penggunaan KAG di Kelas

Belum adanya standar baku tentang kapan dan bagaimana KAG boleh digunakan dalam tugas dan ujian.

5. Menurunnya Keabsahan Asesmen
   Asesmen yang hanya menilai produk akhir sulit memastikan bahwa capaian pembelajaran benar-benar dicapai oleh mahasiswa sendiri.

2. Risiko dalam Penelitian dan Pelayanan

Penelitian dan pelayanan masyarakat meliputi aktivitas penelitian, dan pengabdian kepada masyarakat. Dalam aktivitas riset dan publikasi ilmiah:

1. Plagiarisme dan Authorship Ambiguity

Penggunaan KAG dalam penulisan dapat menimbulkan pertanyaan tentang siapa “penulis” sebenarnya.

2. Validitas Ilmiah Terganggu

KAG dapat menghasilkan referensi palsu atau data sintetis yang tidak dapat diverifikasi.

3. Kebocoran Data Penelitian

Penggunaan KAG berbasis cloud dapat membahayakan data sensitif atau data penelitian yang belum dipublikasikan.

4. Bias dalam Analisis Data

Model KAG dapat menghasilkan interpretasi yang bias jika data pelatihan tidak representatif.

5. Hilangnya kendali manusia pada sistem agentic AI. Sistem KAG yang dapat merencanakan dan mengeksekusi tindakan secara mandiri, seperti mengirim pesan, mengubah data, menjalankan kode, atau mengambil keputusan administratif, berisiko melakukan tindakan yang tidak dikehendaki, sulit dibatalkan, dan sulit ditelusuri penanggung jawabnya.

6. Ketidakjelasan status hak cipta luaran berbantuan KAG. Status hak cipta atas luaran yang sebagian besar dihasilkan KAG belum diatur secara tegas. Selain itu, penggunaan materi berhak cipta sebagai masukan KAG berpotensi menimbulkan pelanggaran apabila tidak sesuai dengan ketentuan atau lisensi yang berlaku.

7. Pelanggaran etik pada riset dengan subjek manusia. Data subjek manusia yang diproses melalui KAG, terutama layanan pihak ketiga, dapat digunakan di luar tujuan yang disetujui subjek atau terungkap identitasnya, sehingga melanggar prinsip etik penelitian dan perlindungan data pribadi.

Dalam implementasi KAG untuk masyarakat:

1. Ketidaksesuaian Solusi dengan Konteks Lokal

KAG sering berbasis data global yang tidak sesuai dengan kebutuhan masyarakat lokal.

2. Eksklusi Sosial

Masyarakat yang tidak melek digital bisa semakin tertinggal.

3. Risiko Etika dan Kepercayaan Publik

Kesalahan KAG dalam layanan publik (misalnya rekomendasi kesehatan atau pertanian) dapat menurunkan kepercayaan masyarakat.

4. Ketergantungan Teknologi

Program pengabdian berbasis KAG dapat membuat masyarakat bergantung tanpa membangun kapasitas mandiri.

3. Risiko dalam Manajemen dan Tata Kelola Perguruan Tinggi

Manajemen dan tata kelola perguruan tinggi memiliki risiko dalam tata kelola institusi:

1. Pengambilan Keputusan Berbasis KAG yang Tidak Transparan

KAG (black box) dapat menghasilkan keputusan yang sulit dijelaskan (misalnya seleksi mahasiswa atau evaluasi dosen).

2. Keamanan dan Privasi Data

Penggunaan KAG meningkatkan risiko kebocoran data mahasiswa, dosen, dan institusi.

3. Biaya Implementasi Tinggi

Investasi KAG (infrastruktur, lisensi, pelatihan) tidak selalu sebanding dengan manfaat jika tidak direncanakan dengan matang.

4. Vendor Lock-in

Ketergantungan pada platform KAG tertentu dapat membatasi fleksibilitas institusi.

5. Kepatuhan Regulasi

Risiko ketidaksesuaian dengan regulasi perlindungan data dan etika KAG.

Dalam pengelolaan dosen dan tenaga kependidikan:

1. Resistensi Terhadap Perubahan

Dosen dan staf yang belum siap, atau yang menanggung beban kerja tambahan tanpa dukungan memadai, dapat menolak atau menggunakan KAG.

2. Kesenjangan Kompetensi Digital

Tidak semua SDM memiliki literasi KAG yang memadai.

3. Disrupsi Pekerjaan

Beberapa fungsi administratif dapat tergantikan oleh KAG, memicu ketidakpastian kerja.

4. Evaluasi Kinerja yang Bias

Penggunaan KAG dalam penilaian kinerja dapat menghasilkan bias jika algoritma tidak adil.

5. Kebutuhan Reskilling dan Upskilling Tinggi

Perguruan tinggi harus terus melatih SDM agar relevan dengan perkembangan teknologi.

Risiko-risiko di atas dapat berdampak pada tiga tingkat. Pada tingkat mikro, dampak dirasakan oleh individu sebagai pengguna atau subjek sistem KAG, misalnya pelanggaran privasi, keputusan yang bias, dan ketergantungan berlebihan. Pada tingkat meso, dampak dirasakan oleh perguruan tinggi sebagai pengelola sistem, misalnya kegagalan sistem, kebocoran data, ketergantungan pada vendor, serta kerugian finansial dan reputasi. Pada tingkat makro, dampak dirasakan oleh masyarakat dan ekosistem pendidikan tinggi, misalnya kesenjangan digital, disrupsi tenaga kerja, dan disinformasi. Tingkat dampak ini menjadi salah satu pertimbangan dalam klasifikasi tingkat risiko pada Bab 5.3, sedangkan pengendaliannya diuraikan pada Bab 5.7.

1. Domain Mikro (Individu/Pengguna Akhir)

Pada level mikro, risiko berfokus pada individu sebagai pengguna atau subjek dari sistem KAG. Risiko utama meliputi pelanggaran privasi, penyalahgunaan data pribadi, serta keputusan KAG yang bias terhadap individu tertentu. Sistem KAG yang tidak transparan dapat menghasilkan keputusan yang sulit dipahami oleh pengguna, sehingga berpotensi merugikan hak individu, misalnya dalam seleksi akademik, penilaian kinerja, atau layanan kesehatan.

Selain itu, terdapat risiko ketergantungan berlebihan terhadap KAG (over-reliance), di mana individu kehilangan kemampuan berpikir kritis karena terlalu mengandalkan sistem otomatis. Hal ini sangat relevan dalam konteks pendidikan tinggi, termasuk di lingkungan seperti Universitas Gadjah Mada, di mana KAG digunakan untuk pembelajaran, penelitian, dan evaluasi. Ketergantungan ini dapat menurunkan kualitas pembelajaran dan integritas akademik.

Pedoman mitigasi pada level mikro meliputi peningkatan literasi KAG, transparansi sistem (explainable KAG), serta pemberian kontrol kepada pengguna atas data mereka. Selain itu, perlu adanya mekanisme human-in-the-loop untuk memastikan bahwa keputusan penting tetap melibatkan pertimbangan manusia.

2. Domain Meso (Organisasi/Institusi)

Pada level meso, risiko berkaitan dengan organisasi sebagai pengelola dan pengguna sistem KAG. Risiko utama mencakup kegagalan sistem, kebocoran data, ketergantungan pada vendor (vendor lock-in), serta ketidaksesuaian dengan regulasi. Implementasi KAG tanpa tata kelola yang baik dapat menyebabkan kerugian finansial, reputasi, dan operasional bagi institusi.

Risiko lainnya adalah kurangnya integrasi antar sistem dan silo data, yang dapat menghambat efektivitas KAG. Selain itu, organisasi juga menghadapi risiko terkait kualitas data (data bias, data tidak valid), serta kurangnya kompetensi SDM dalam mengelola dan mengembangkan KAG. Hal ini dapat menyebabkan hasil analisis yang tidak akurat dan pengambilan keputusan yang salah.

Mitigasi pada level meso mencakup penerapan KAG governance framework, audit sistem secara berkala, penguatan keamanan siber, serta pengembangan kapasitas SDM. Organisasi juga perlu mengadopsi standar terbuka dan strategi multi-vendor untuk mengurangi risiko ketergantungan teknologi.

3. Domain Makro (Nasional/Global/Ekosistem)

Pada level makro, risiko KAG mencakup dampak yang lebih luas terhadap masyarakat, ekonomi, dan stabilitas global. Salah satu risiko utama adalah meningkatnya kesenjangan digital (digital divide), di mana hanya negara atau kelompok tertentu yang memiliki akses terhadap teknologi KAG, sehingga memperlebar ketimpangan sosial dan ekonomi.

Selain itu, terdapat risiko disrupsi tenaga kerja akibat otomatisasi, yang dapat menyebabkan pengangguran struktural. Di tingkat global, KAG juga dapat digunakan untuk tujuan yang merugikan seperti disinformasi, manipulasi opini publik, dan bahkan dalam konteks keamanan nasional (misalnya autonomous weapons).

Mitigasi pada level makro memerlukan kebijakan publik yang kuat, regulasi KAG yang adaptif, serta kerja sama internasional. Pemerintah dan institusi global perlu memastikan bahwa pengembangan KAG selaras dengan prinsip etika, keadilan, dan keberlanjutan.

3.2 Risiko Teknologi dan Data

Implementasi KAG di perguruan tinggi tidak hanya menghadirkan peluang transformasi, tetapi juga membawa risiko signifikan yang terutama berkaitan dengan aspek teknologi dan data. Risiko ini bersifat kompleks karena melibatkan interaksi antara sistem digital, algoritma, serta data yang menjadi fondasi utama KAG. Oleh karena itu, pemahaman yang komprehensif terhadap kedua aspek ini menjadi krusial dalam memastikan implementasi KAG yang aman, andal, dan bertanggung jawab.

1. Teknologi

Dari sisi teknologi, salah satu risiko utama terletak pada kinerja model KAG itu sendiri. Sistem KAG, khususnya yang berbasis generative model, memiliki potensi menghasilkan output yang tidak akurat atau bahkan menyesatkan, yang sering dikenal sebagai hallucination. Dalam konteks perguruan tinggi, hal ini dapat berdampak pada penyampaian materi pembelajaran yang keliru, rekomendasi akademik yang tidak tepat, hingga pengambilan keputusan manajerial yang tidak berbasis fakta. Risiko ini biasanya muncul akibat penggunaan data pelatihan yang tidak representatif atau kurangnya proses validasi oleh manusia. Tanpa mekanisme pengawasan yang memadai, KAG dapat menjadi sumber disinformasi yang justru merusak kualitas akademik.

Halusinasi tidak terbatas pada informasi faktual yang keliru atau rujukan palsu. Pada bidang sains, teknik, dan komputasi, halusinasi juga dapat berupa kesalahan perhitungan numerik, kekeliruan konversi satuan, penerapan rumus yang tidak sesuai, serta kode program yang tampak berjalan tetapi mengandung galat (bug) atau celah keamanan. Kesalahan semacam ini sering kali sulit dikenali karena disajikan dengan format yang meyakinkan. Apabila digunakan tanpa verifikasi dalam perancangan struktur, sistem, atau perangkat, kesalahan tersebut dapat membahayakan keselamatan desain dan keselamatan publik.

Selain itu, karakteristik KAG yang sering bersifat “black box” menimbulkan tantangan dalam hal transparansi dan akuntabilitas. Banyak model KAG modern tidak mudah dijelaskan cara kerjanya, sehingga keputusan yang dihasilkan sulit dipertanggungjawabkan secara akademik maupun administratif. Dalam lingkungan perguruan tinggi yang menjunjung tinggi prinsip ilmiah dan rasionalitas, kondisi ini berpotensi menimbulkan persoalan etika dan menurunkan kepercayaan terhadap sistem. Oleh karena itu, kebutuhan akan pendekatan Explainable KAG menjadi semakin penting untuk memastikan bahwa setiap keputusan berbasis KAG dapat dipahami dan diuji.

Namun, pendekatan Explainable KAG saja tidak cukup untuk mencegah halusinasi, karena penjelasan atas cara kerja model tidak menjamin kebenaran keluarannya. Mitigasi perlu dilakukan secara berlapis, antara lain:

1. menerapkan arsitektur Retrieval-Augmented Generation (RAG), yaitu membatasi rujukan jawaban KAG pada sumber yang telah dikurasi, seperti repositori, perpustakaan, dan dokumen resmi perguruan tinggi, serta menampilkan sumber yang dirujuk;

2. memverifikasi perhitungan numerik dan rumus menggunakan perangkat lunak komputasi atau perhitungan manual, bukan hanya mengandalkan jawaban teks KAG;

3. menguji kode yang dihasilkan KAG sebelum digunakan, termasuk pengujian fungsional dan pemeriksaan keamanan;

4. memastikan keluaran yang berdampak pada keselamatan desain diperiksa ulang oleh tenaga ahli yang berkompeten di bidangnya.

2. Keamanan Sistem

Risiko lain yang tidak kalah penting adalah aspek keamanan sistem. Implementasi KAG membuka celah baru terhadap berbagai bentuk serangan siber, seperti data poisoning, prompt injection, hingga model inversion attack. Serangan ini dapat mengubah perilaku sistem KAG atau bahkan mengekspos data sensitif yang digunakan dalam proses pelatihan. Dalam konteks perguruan tinggi, hal ini berpotensi mengganggu operasional akademik, merusak integritas sistem informasi, serta membahayakan data mahasiswa dan peneliti. Oleh karena itu, penguatan keamanan siber menjadi bagian integral dari implementasi KAG.

Penyelenggara sistem elektronik wajib menyediakan sistem pengamanan yang mencakup prosedur dan sistem pencegahan dan penanggulangan terhadap ancaman dan serangan yang menimbulkan gangguan, kegagalan, dan kerugian (PP No. 71 Tahun 2019, Pasal 24 ayat (2)). Pada sistem KAG yang dikembangkan atau diintegrasikan oleh perguruan tinggi, pengamanan tersebut antara lain meliputi:

1. pembatas keamanan (security guardrails) dan penyaringan masukan (input sanitization) untuk menangkal prompt injection, termasuk perintah tersembunyi di dalam dokumen atau laman yang dibaca sistem;

2. pengendalian kualitas dan asal-usul data yang digunakan untuk pelatihan, penyesuaian (fine-tuning), maupun basis pengetahuan RAG untuk mencegah data poisoning;

3. pembatasan hak akses sistem KAG terhadap data dan sistem lain sesuai kebutuhan minimum;

4. pengujian keamanan secara berkala sebelum dan selama sistem digunakan.

3. Integrasi Sistem

Di sisi lain, tantangan teknologi juga muncul dalam proses integrasi sistem. Banyak perguruan tinggi telah memiliki berbagai sistem informasi seperti Learning Management System (LMS), sistem akademik, dan repositori penelitian. Ketika KAG diimplementasikan tanpa perencanaan arsitektur yang matang, risiko yang muncul adalah terjadinya fragmentasi sistem, duplikasi data, serta inkonsistensi informasi. Hal ini justru dapat menurunkan efisiensi operasional dan menghambat pemanfaatan KAG secara optimal.

Selain risiko teknologi, aspek data merupakan faktor yang paling krusial dalam implementasi KAG. Kualitas data menjadi penentu utama kualitas luaran KAG. Data yang tidak lengkap, tidak akurat, atau tidak relevan akan menghasilkan analisis yang bias dan keputusan yang keliru. Dalam lingkungan akademik, hal ini dapat berdampak pada kualitas penelitian, evaluasi pembelajaran, hingga kebijakan institusi. Oleh karena itu, pengelolaan kualitas data melalui proses validasi, pembersihan, dan standardisasi menjadi kebutuhan mendasar.

4. Privasi dan Perlindungan Data Pribadi

Risiko berikutnya berkaitan dengan privasi dan perlindungan data. Perguruan tinggi mengelola berbagai jenis data sensitif, mulai dari data pribadi mahasiswa, rekam jejak akademik, hingga data penelitian. Penggunaan KAG, terutama yang berbasis cloud, meningkatkan risiko kebocoran atau penyalahgunaan data. Jika tidak dikelola dengan baik, hal ini dapat menimbulkan konsekuensi hukum serta merusak reputasi institusi. Dalam konteks Indonesia, kepatuhan terhadap regulasi seperti Undang-Undang Perlindungan Data Pribadi menjadi keharusan yang tidak dapat diabaikan.

Lebih lanjut, risiko kebocoran data juga dapat terjadi melalui interaksi langsung pengguna dengan sistem KAG, misalnya ketika dosen atau peneliti tanpa sadar memasukkan data sensitif ke dalam platform KAG publik. Data tersebut berpotensi digunakan kembali oleh sistem atau bahkan diakses oleh pihak lain. Hal ini menunjukkan bahwa risiko tidak hanya bersumber dari teknologi, tetapi juga dari perilaku pengguna yang belum memiliki literasi keamanan data yang memadai.

Risiko tersebut diperbesar oleh fenomena Shadow AI, yaitu penggunaan layanan KAG publik atau akun pribadi di luar kanal resmi institusi tanpa persetujuan maupun pengawasan. Data yang diunggah melalui kanal tersebut berada di luar kendali perguruan tinggi, dapat diproses atau disimpan di server luar negeri, dan pada sebagian layanan komersial dapat dimanfaatkan untuk melatih model. Risiko kebocoran juga tidak terbatas pada data pribadi, tetapi mencakup data non-pribadi yang bersifat strategis, seperti data hidrologi, data infrastruktur, dan data kekayaan alam. Pengendaliannya diatur pada Bab 4.5.

5. Bias Data

Selain itu, bias dalam data menjadi tantangan serius yang dapat berdampak pada keadilan dan objektivitas. Dataset yang tidak representatif dapat menghasilkan model KAG yang diskriminatif, misalnya dalam proses seleksi mahasiswa, penilaian kinerja, atau rekomendasi akademik. Bias ini sering kali tidak disadari, namun dapat memperkuat ketimpangan yang sudah ada. Oleh karena itu, diperlukan mekanisme audit data dan evaluasi fairness secara berkala.

Secara keseluruhan, analisis ini menunjukkan bahwa risiko terbesar dalam implementasi KAG di perguruan tinggi tidak hanya terletak pada teknologi itu sendiri, tetapi pada bagaimana data dikelola dan bagaimana tata kelola (governance) diterapkan. Tanpa kerangka pengelolaan yang kuat, KAG justru dapat menjadi sumber risiko baru yang kompleks. Oleh karena itu, perguruan tinggi perlu mengadopsi pendekatan yang tidak hanya berfokus pada adopsi teknologi, tetapi juga pada pembangunan sistem tata kelola yang mencakup keamanan, etika, transparansi, dan kualitas data. Dengan pendekatan tersebut, KAG dapat dimanfaatkan secara optimal sebagai alat transformasi yang mendukung peningkatan kualitas pendidikan tinggi secara berkelanjutan.