Kecerdasan buatan sekarang dapat mengungguli sebagian besar lulusan sekolah hukum dalam ujian pengacara, ujian dua hari yang melelahkan yang harus dilalui oleh calon pengacara untuk praktik hukum di Amerika Serikat, menurut sebuah studi baru yang dirilis Rabu (15 Maret).
GPT-4, model AI yang ditingkatkan yang dirilis minggu ini oleh OpenAI yang didukung Microsoft, mendapat nilai 297 pada ujian pengacara dalam eksperimen yang dilakukan oleh dua profesor hukum dan dua karyawan perusahaan teknologi hukum Casetext.
Hal ini menempatkan GPT-4 pada persentil ke-90 peserta tes sebenarnya dan cukup untuk diterima menjalankan praktik hukum di sebagian besar negara bagian, demikian temuan para peneliti.
Ujian pengacara menilai pengetahuan dan penalaran dan mencakup esai dan tes kinerja yang dimaksudkan untuk mensimulasikan pekerjaan hukum, serta pertanyaan pilihan ganda.
“Model bahasa besar dapat memenuhi standar yang diterapkan pada pengacara manusia di hampir semua yurisdiksi di Amerika Serikat dengan menangani tugas-tugas kompleks yang memerlukan pengetahuan hukum yang mendalam, pemahaman membaca, dan kemampuan menulis,” tulis para penulis.
Kurang dari empat bulan yang lalu, dua peneliti yang sama menyimpulkan bahwa model bahasa utama OpenAI sebelumnya, ChatGPT, gagal dalam ujian, hal ini menunjukkan betapa cepatnya kemajuan teknologi.
GPT-4 yang lebih baru menjawab hampir 76 persen pertanyaan pilihan ganda dalam ujian pengacara dengan benar, naik dari sekitar 50 persen untuk ChatGPT, yang mengungguli rata-rata peserta tes manusia sebanyak lebih dari 7 persen.
Konferensi Nasional Penguji Pengacara, yang merancang bagian pilihan ganda, mengatakan dalam sebuah pernyataan pada hari Rabu bahwa pengacara memiliki keterampilan unik yang diperoleh melalui pendidikan dan pengalaman yang “saat ini tidak dapat ditandingi oleh AI.”
Rekan penulis studi Daniel Martin Katz, seorang profesor di Chicago-Kent College of Law, mengatakan dalam sebuah wawancara bahwa dia sangat terkejut dengan kemampuan GPT-4 untuk menghasilkan jawaban esai dan tes kinerja yang sebagian besar relevan dan koheren.
“Saya mendengar begitu banyak orang berkata, ‘Yah, mungkin akan ada pilihan ganda, tapi tidak akan pernah bisa mendapatkan esai,’” kata Katz.
AI juga berkinerja baik pada tes standar lainnya, termasuk SAT dan GRE, tetapi ujian pengacara mendapat perhatian lebih. OpenAI mengisyaratkan keberhasilannya ketika mengumumkan model terbarunya pada hari Selasa.
Guru ujian pengacara Sean Silverman mengaitkan fokus pada ujian pengacara dengan kesulitannya yang diakui secara luas. Tingkat kelulusan pertama kali pada ujian lisensi pengacara tahun ini adalah 78 persen di antara peserta tes yang menghabiskan tiga tahun di sekolah hukum.
Silverman mengatakan orang-orang mungkin kurang terkesan saat mengetahui bahwa AI dapat lulus tes yang dirancang untuk siswa sekolah menengah, seperti SAT, “dibandingkan tes untuk menjadi pengacara.”