NOVRI RAHMAN, - (2025) IMPLEMENTASI LANGCHAIN DAN LARGE LANGUAGE MODELS DALAM AUTOMATIC QUESTION GENERATION UNTUK COMPUTER ASSISTED TEST. Bulletin of Computer Science Research, 5 (4). pp. 434-446. ISSN ISSN 2774-3659 (Media Online)

Preview	Text (PERNYATAAN PUBLIKASI DOSEN) REPOSITORY - NOVRI RAHMAN - NOVRI RAHMAN.pdf - Published Version Download (1MB) | Preview
Preview	Text (ARTIKEL JURNAL) Serah Simpan Karya - NOVRI RAHMAN.pdf - Published Version Download (145kB) | Preview
Preview	Text (PERNYATAAN PUBLIKASI MAHASISWA) Persetujuan Dosen Pembimbing - NOVRI RAHMAN.pdf - Published Version Download (192kB) | Preview

Abstract

Perkembangan teknologi Artificial Intelligence (AI), khususnya Large Language Models (LLM), membuka peluang baru dalam transformasi sistem evaluasi pendidikan. Penelitian ini bertujuan mengimplementasikan kerangka kerja LangChain yang terintegrasi dengan LLM untuk sistem Automatic Question Generation (AQG) pada Computer Assisted Test (CAT), dengan studi kasus pada materi Biologi kelas XI. Metode yang digunakan mencakup pengumpulan data dari dokumen PDF materi ajar, proses embedding menggunakan Facebook AI Similarity Search (FAISS) sebagai basis pengetahuan, serta pembuatan soal otomatis melalui model GPT-4o. Sistem dirancang dengan arsitektur microservices yang terdiri atas layanan frontend dan backend menggunakan framework Next.js, FastAPI, dan Express.js. Evaluasi dilakukan melalui pendekatan User Acceptance Test dan framework DeepEval. Hasil evaluasi menunjukkan tingkat kepuasan guru sebesar 92,7% dan respons positif dari mahasiswa sebesar 67,5%. Sementara itu, hasil DeepEval menunjukkan rata-rata metrik hallucination sebesar 3,69%, contextual precision 97,44%, contextual relevancy 83,30%, answer relevancy 70,63%, dan prompt alignment 92,47%. Temuan ini menunjukkan bahwa integrasi LangChain dan LLM efektif dalam menghasilkan soal yang relevan dan kontekstual, meskipun aspek ketepatan jawaban masih perlu ditingkatkan. Penelitian ini diharapkan menjadi solusi efisien dalam penyusunan soal evaluasi digital serta membuka arah baru bagi pengembangan AI dalam dunia pendidikan.

Actions (login required)

View Item