Agentic AI dan Tantangan Kepercayaan: Bisakah Perusahaan Mengandalkan AI Agent?

Ringkasan eksekutif

Gartner memproyeksikan bahwa pada akhir 2026, sekitar 40% aplikasi enterprise akan menyertakan AI agent atau agentic AI yang mampu mengambil keputusan dan menjalankan tugas secara otonom, naik signifikan dari kurang dari 5% pada 2023. Platform seperti Salesforce Agentforce dan Microsoft Copilot agents kini sudah digunakan oleh ribuan perusahaan global untuk mengotomasi proses penjualan, layanan pelanggan, dan operasional internal. Stanford AI Index 2026 mencatat bahwa adopsi AI generatif dan agentic di kalangan korporasi besar tumbuh lebih dari tiga kali lipat dalam dua tahun terakhir, namun laju adopsi teknologi ini jauh lebih cepat dibanding laju pembentukan tata kelola atau governance yang memadai.

Pasar AI governance global diperkirakan menembus 3 miliar dolar AS pada 2027, mencerminkan kebutuhan mendesak akan sistem audit, kontrol akses, dan mekanisme eskalasi manusia atas keputusan yang dibuat AI agent. Yang lebih mengkhawatirkan, lebih dari 60% organisasi di seluruh dunia mengakui belum memiliki kerangka governance AI yang terstruktur, padahal mereka sudah menerapkan AI agent dalam proses bisnis kritikal seperti persetujuan kredit, rekomendasi pelanggan, hingga otomasi rantai pasok. Kesenjangan ini menciptakan risiko nyata, mulai dari keputusan AI yang tidak dapat dijelaskan, bias yang tidak terdeteksi, hingga potensi kebocoran data akibat agent yang memiliki akses sistem terlalu luas tanpa pengawasan yang jelas.

Bagi pasar Indonesia, tren ini relevan karena banyak perusahaan menengah dan besar mulai mengadopsi chatbot pintar dan asisten AI untuk layanan pelanggan serta otomasi internal, namun sebagian besar belum memiliki kebijakan formal tentang siapa yang bertanggung jawab ketika AI agent membuat kesalahan. Implikasi strategisnya jelas, perusahaan yang ingin memanfaatkan agentic AI secara aman harus membangun fondasi governance sejak awal, bukan sebagai tambahan setelah insiden terjadi. Kepercayaan terhadap AI bukan lagi isu teknis semata, melainkan isu reputasi, kepatuhan, dan kelangsungan bisnis.

Apa yang terjadi

Adopsi agentic AI melonjak pesat karena perusahaan ingin mengotomasi proses yang sebelumnya membutuhkan keputusan manusia, seperti triase tiket layanan pelanggan, rekomendasi produk, atau alokasi anggaran pemasaran. Gartner mencatat bahwa kategori AI agent kini menjadi salah satu area investasi teknologi enterprise dengan pertumbuhan tercepat, didorong oleh tekanan efisiensi biaya dan ekspektasi kecepatan layanan dari konsumen.

Namun laporan yang sama menunjukkan bahwa banyak perusahaan menerapkan AI agent tanpa kerangka kontrol yang setara dengan tingkat otonomi yang diberikan. Beberapa kasus melibatkan AI agent yang membuat komitmen kepada pelanggan tanpa otorisasi, mengakses data sensitif di luar kewenangannya, atau menghasilkan keputusan yang tidak konsisten antar sesi. Stanford AI Index 2026 menyoroti bahwa kesenjangan antara kapabilitas teknis AI dan kesiapan organisasi dalam mengelola risiko semakin melebar, terutama di sektor jasa keuangan, ritel, dan layanan publik.

Tren ini mendorong munculnya peran baru seperti AI risk officer dan kebutuhan terhadap audit trail otomatis yang mencatat setiap keputusan AI agent untuk keperluan investigasi dan kepatuhan regulasi.

Mengapa ini penting untuk Indonesia

Indonesia berada pada fase adopsi AI yang sangat aktif, dengan banyak perusahaan e-commerce, perbankan, dan startup teknologi mulai menggunakan chatbot AI dan sistem rekomendasi otomatis dalam skala besar. Namun kerangka regulasi dan tata kelola AI di Indonesia masih dalam tahap pengembangan, sehingga tanggung jawab atas kesalahan AI agent sering kali tidak jelas antara penyedia teknologi, perusahaan pengguna, dan pihak ketiga.

Bagi perusahaan Indonesia yang berencana mengadopsi agentic AI untuk layanan pelanggan, kredit digital, atau otomasi operasional, ketiadaan governance yang jelas dapat menimbulkan risiko reputasi yang signifikan jika AI agent membuat kesalahan yang viral di media sosial. Mengingat tingkat literasi digital konsumen Indonesia yang tinggi dan kecenderungan konten negatif menyebar cepat melalui platform sosial, satu insiden AI yang tidak tertangani dengan baik dapat merusak kepercayaan publik dalam waktu singkat.

Bagi institusi publik dan BUMN yang mulai menjajaki otomasi layanan berbasis AI, kebutuhan akan governance menjadi lebih krusial karena menyangkut akuntabilitas terhadap masyarakat dan kepatuhan terhadap regulasi perlindungan data yang sedang berkembang di Indonesia.

Masalah yang sering dihadapi organisasi

• AI agent diberi akses sistem yang terlalu luas tanpa batasan peran yang jelas.
• Tidak ada mekanisme eskalasi ke manusia ketika AI agent menghadapi situasi di luar cakupannya.
• Minimnya audit trail yang mencatat alasan di balik setiap keputusan AI agent.
• Tim legal dan compliance tidak dilibatkan sejak fase desain sistem AI.
• Tidak ada SOP yang jelas tentang siapa yang bertanggung jawab atas kesalahan AI.
• Pengujian AI agent hanya dilakukan sekali saat peluncuran, tanpa evaluasi berkala.
• Karyawan tidak dilatih untuk mengenali dan menangani output AI agent yang keliru.

Perspektif Richflow

Richflow melihat tren agentic AI sebagai sinyal bahwa organisasi memerlukan pendekatan eksekusi yang terintegrasi, bukan sekadar adopsi tools secara terpisah. Kerangka konsultasi yang relevan menghubungkan lima lapisan:

1. Kejelasan strategis, menetapkan proses bisnis mana yang layak diotomasi dengan AI agent dan mana yang tetap membutuhkan keputusan manusia.
2. Model operasi, merancang peran, alur kerja, dan hak keputusan antara manusia dan AI agent secara eksplisit.
3. Teknologi dan data, membangun sistem audit, logging, dan kontrol akses yang proporsional terhadap tingkat otonomi AI.
4. Komunikasi dan media, menyiapkan narasi publik yang transparan jika insiden AI terjadi, agar kepercayaan dapat dipulihkan dengan cepat.
5. Pengukuran, memantau akurasi, bias, dan dampak bisnis dari AI agent secara berkelanjutan, bukan hanya saat peluncuran.

Rekomendasi tindakan

• Petakan seluruh proses bisnis yang sudah atau akan menggunakan AI agent, lalu nilai tingkat risikonya.
• Tetapkan batasan kewenangan yang jelas untuk setiap AI agent, termasuk kapan harus eskalasi ke manusia.
• Bangun sistem audit trail yang dapat menjelaskan keputusan AI agent secara retroaktif.
• Libatkan tim legal dan compliance dalam setiap proyek AI sejak fase perencanaan.
• Siapkan protokol komunikasi krisis khusus untuk insiden yang melibatkan kesalahan AI.
• Lakukan evaluasi berkala terhadap performa dan bias AI agent, bukan hanya saat peluncuran.
• Latih tim internal untuk memahami batasan dan risiko AI agent yang mereka operasikan.

Bagaimana Richflow dapat membantu

• Audit kesiapan governance AI untuk sistem yang sudah berjalan atau direncanakan.
• Perancangan kerangka kebijakan AI agent yang sesuai konteks regulasi Indonesia.
• Desain alur eskalasi manusia dan audit trail untuk sistem AI agent.
• Pendampingan implementasi AI roadmap yang mempertimbangkan risiko governance.
• Pelatihan internal tentang penggunaan dan pengawasan AI agent.
• Strategi komunikasi krisis untuk insiden terkait AI.
• Pengukuran dampak bisnis dan risiko dari implementasi AI agent.
• Integrasi governance AI dengan strategi bisnis dan operasional secara keseluruhan.

Sources

• Gartner AI Agent Predictions: https://www.gartner.com/en/articles/ai-agents-predictions
• Stanford AI Index 2026: https://aiindex.stanford.edu/report/