OAKLAND, California: Digunakan oleh dua pertiga dari 100 bank terbesar di dunia untuk membantu pengambilan keputusan pemberian pinjaman, raksasa pemeringkat kredit Fair Isaac Corp dan perangkat lunak kecerdasan buatannya dapat mendatangkan malapetaka jika terjadi kesalahan.
Krisis ini terjadi hampir di awal pandemi. Seperti yang dikatakan FICO kepada Reuters, alat AI milik perusahaan Bozeman, Montana untuk membantu bank mengidentifikasi penipuan kartu kredit dan debit menyimpulkan bahwa peningkatan belanja online berarti penipu pasti lebih sibuk dari biasanya.
Perangkat lunak AI meminta bank untuk menolak jutaan pembelian sah pada saat konsumen berebut tisu toilet dan kebutuhan pokok lainnya.
Namun konsumen akhirnya menghadapi sedikit penolakan, menurut FICO. Perusahaan tersebut mengatakan bahwa kelompok global yang terdiri dari 20 analis yang terus-menerus memantau sistemnya merekomendasikan penyesuaian sementara untuk menghindari hambatan pengeluaran. Tim ini secara otomatis diperingatkan akan aktivitas pembelian tidak biasa yang dapat membingungkan AI, yang diandalkan oleh 9.000 lembaga keuangan untuk mendeteksi penipuan di 2 miliar kartu.
Tim korporat seperti itu, yang merupakan bagian dari spesialisasi pekerjaan operasi pembelajaran mesin (MLOps), jarang terjadi. Dalam survei terpisah tahun lalu, FICO dan perusahaan konsultan McKinsey & Co menemukan bahwa sebagian besar organisasi yang disurvei tidak memantau program berbasis AI secara rutin setelah mereka meluncurkannya.
Masalahnya adalah kesalahan bisa terjadi ketika kondisi dunia nyata menyimpang, atau dalam istilah teknis “melayang”, dari contoh yang digunakan untuk melatih AI, menurut para ilmuwan yang menjalankan sistem ini. Dalam kasus FICO, dikatakan bahwa perangkat lunaknya mengharapkan lebih banyak belanja langsung dibandingkan belanja virtual, dan hubungan terbalik telah menyebabkan lebih banyak transaksi yang ditandai sebagai bermasalah.
Variasi musiman, perubahan kualitas data, atau peristiwa besar – seperti pandemi – dapat menyebabkan serangkaian prediksi AI yang buruk.
Bayangkan sebuah sistem yang merekomendasikan pakaian renang kepada pembeli musim panas, tanpa menyadari bahwa pembatasan COVID-19 telah membuat celana olahraga menjadi lebih cocok. Atau sistem pengenalan wajah yang bermasalah karena masking menjadi populer.
Pandemi ini seharusnya menjadi “peringatan” bagi siapa pun yang tidak memantau sistem AI dengan cermat karena hal ini menyebabkan perubahan perilaku yang tak terhitung jumlahnya, kata Aleksander Madry, direktur Pusat Pembelajaran Mesin yang Dapat Diterapkan di Institut Teknologi Massachusetts.
Menangani penyimpangan adalah masalah besar bagi organisasi yang menggunakan AI, katanya. “Itulah yang saat ini menghentikan kami dari impian AI yang merevolusi segalanya.”
Menambah urgensi bagi pengguna untuk mengatasi masalah ini, Uni Eropa berencana untuk segera mengesahkan undang-undang AI baru yang memerlukan pemantauan. Dalam pedoman AI baru bulan ini, Gedung Putih juga menyerukan pemantauan untuk memastikan bahwa “kinerja sistem tidak turun di bawah tingkat yang dapat diterima seiring berjalannya waktu.”
Lambatnya menyadari masalah bisa jadi merugikan. Unity Software Inc, yang perangkat lunak periklanannya membantu menarik pemain video game, memperkirakan pada bulan Mei bahwa mereka akan kehilangan penjualan sebesar $110 juta tahun ini, atau sekitar 8 persen dari total pendapatan yang diharapkan, setelah pelanggan mundur ketika alat AI yang menentukan siapa yang menampilkan iklan telah kehilangan pendapatan mereka. berhenti bekerja sebaik dulu. Perusahaan juga menyalahkan sistem AI-nya karena belajar dari data yang rusak.
Unity, yang berbasis di San Francisco, menolak berkomentar selain pernyataan pendapatan. Para eksekutif di sana mengatakan Unity menerapkan alat peringatan dan remediasi untuk mendeteksi masalah dengan lebih cepat dan mengakui perluasan dan fitur-fitur baru lebih diutamakan daripada pemantauan.
Pasar real estat Zillow Group Inc pada bulan November lalu mengumumkan penurunan nilai sebesar $304 juta atas rumah yang dibelinya – berdasarkan algoritma prediksi harga – dengan jumlah yang lebih tinggi daripada harga yang dapat dijual kembali. Perusahaan Seattle mengatakan AI tidak dapat mengikuti perubahan pasar yang cepat dan belum pernah terjadi sebelumnya dan keluar dari bisnis jual-beli.
PASAR BARU
AI bisa menjadi kacau dalam banyak hal. Yang paling terkenal, data pelatihan yang tidak sesuai dengan ras atau garis lain dapat menghasilkan prediksi yang bias dan tidak adil. Banyak perusahaan kini melakukan pemeriksaan data terlebih dahulu untuk mencegah hal ini, menurut survei dan pakar industri. Sebagai perbandingan, hanya sedikit perusahaan yang mempertimbangkan bahaya kegagalan model yang berkinerja baik di kemudian hari, kata sumber-sumber ini.
“Ini adalah masalah yang mendesak,” kata Sara Hooker, kepala laboratorium penelitian Cohere For AI. “Bagaimana Anda memperbarui model yang menjadi usang seiring dengan perubahan dunia di sekitar mereka?”
Dalam beberapa tahun terakhir, beberapa perusahaan rintisan dan raksasa komputasi awan mulai menjual perangkat lunak untuk menganalisis kinerja, menyetel alarm, dan memperkenalkan perbaikan yang bertujuan membantu tim mengawasi AI. IDC, seorang peneliti pasar global, memperkirakan bahwa pengeluaran untuk alat-alat untuk operasi AI akan mencapai setidaknya $2 miliar pada tahun 2026 dari $408 juta pada tahun lalu.
Investasi modal ventura di perusahaan pengembangan dan operasi AI meningkat hampir $13 miliar pada tahun lalu, dan $6 miliar telah mengalir pada tahun ini, menurut data dari PitchBook, sebuah perusahaan Seattle yang melacak pendanaan.
Arize AI, yang mengumpulkan $38 juta dari investor bulan lalu, memungkinkan pemantauan untuk klien termasuk Uber, Chick-fil-A, dan Procter & Gamble. Chief Product Officer Aparna Dhinakaran mengatakan dia kesulitan di perusahaan sebelumnya untuk segera melihat bahwa prediksi AI semakin buruk dan teman-temannya di tempat lain memberi tahu dia tentang penundaan mereka.
“Dunia saat ini tidak akan mengetahui adanya masalah sampai ada dampak bisnisnya dua bulan kemudian,” katanya.
skor PENIPUAN
Beberapa pengguna AI telah membangun kemampuan pemantauannya sendiri, dan itulah yang menurut FICO menyelamatkannya pada awal pandemi.
Kekhawatiran dipicu ketika semakin banyak pembelian dilakukan secara online – yang oleh industri disebut sebagai “kartu tidak ada”. Secara historis, semakin banyak pembelanjaan yang cenderung bersifat penipuan dan lonjakan tersebut telah mendorong transaksi lebih tinggi pada skala FICO 1 hingga 999 (semakin tinggi, semakin besar kemungkinan penipuan), kata Scott Zoldi, kepala analisis di FICO. .
Zoldi mengatakan kebiasaan konsumen berubah terlalu cepat untuk menulis ulang sistem AI. Jadi FICO menyarankan pelanggan AS untuk meninjau dan menolak hanya transaksi yang lebih dari 900, dibandingkan dengan 850, katanya. Hal ini menyelamatkan klien dari meninjau 67 persen transaksi sah di atas ambang batas lama, dan memungkinkan mereka untuk fokus pada kasus yang benar-benar bermasalah.
Selama enam bulan pertama pandemi, klien mendeteksi 25 persen lebih banyak penipuan di AS daripada yang diperkirakan dan 60 persen lebih banyak di Inggris, kata Zoldi.
“Anda tidak bertanggung jawab terhadap AI kecuali Anda memantaunya,” katanya.