@Mira - Trust Layer of AI , Saya mendorong pembaruan model pada malam Kamis dan bangun dengan tiga pesan marah di obrolan internal kami. Prompt yang sama. Versi model yang sama. Jawaban yang berbeda. Tidak berbeda secara gaya. Berbeda secara fakta.
Satu jawaban mengutip makalah 2021. Yang lain mengklaim dataset berhenti pada 2019. Yang ketiga menghaluskan sumber yang tidak ada. Tidak ada yang katastrofik. Tapi cukup untuk membuat saya mempertanyakan apakah kami sedang membangun produk di atas pasir.
Itu adalah pertama kalinya saya mencoba menghubungkan pipeline inferensi kami ke dalam Jaringan Mira.
Saya tidak mengadopsi seluruh tumpukan. Hanya lapisan verifikasi. Saya menginginkan satu hal: determinisme tentang klaim. Bukan kebenaran yang sempurna. Hanya konsistensi yang bisa Anda interogasi.
Integrasi memerlukan dua sore. Bagian yang menarik bukanlah menghubungkan API. Itu adalah menyaksikan latensi melompat dari 1.8 detik menjadi 3.4 detik per permintaan. Pada awalnya saya pikir kami merusak sesuatu. Kemudian saya menyadari apa yang terjadi. Kami tidak hanya menghasilkan jawaban lagi. Kami menghasilkan klaim, meroutingnya melalui verifier terdistribusi, dan mendapatkan kembali skor kepercayaan teragregasi dengan referensi asal.
3.4 detik terasa lambat. Hingga saya membandingkan log.
Sebelum Mira, sekitar 11 persen dari respons dalam set tes kami mengandung setidaknya satu pernyataan fakta yang tidak terverifikasi ketika diperiksa secara manual. Setelah menambahkan lapisan verifikasi, itu turun menjadi 2.6 persen di seluruh 1,200 permintaan. Tidak nol. Tetapi perbedaannya muncul dalam tiket dukungan hampir segera. Lebih sedikit utas “dari mana ini berasal?”. Lebih banyak percakapan tentang interpretasi daripada koreksi.
Perubahan itu mengubah alur kerja saya lebih dari yang saya harapkan.
Sebelumnya, debugging berarti menyempurnakan prompt. Menambahkan batasan. Menambahkan kutipan. Mencoba lagi. Sekarang debugging berarti memeriksa ketidaksepakatan verifier. Mira memperlihatkan di mana konsensus pecah. Jika tiga node setuju pada sebuah klaim dan satu tidak setuju, saya bisa melacak mengapa. Terkadang node minoritas sebenarnya benar. Itu memaksa saya untuk memikirkan kebenaran kurang sebagai biner dan lebih sebagai kesepakatan berbobot di antara evaluator independen.
Kedengarannya abstrak. Dalam praktiknya, itu berarti saya berhenti berdebat dengan model dan mulai menginterogasi grafik verifikasi.
Ada gesekan meskipun. Biaya meningkat sekitar 18 persen per seribu kueri setelah kami memperhitungkan hadiah verifier. Tidak katastrofik, tetapi terlihat pada skala. Dan terkadang sistem menandai kepercayaan rendah pada hal-hal yang jelas benar bagi manusia. Matematika dasar. Tanggal yang dikenal luas. Ketika mekanisme konsensus diterapkan pada kebenaran sederhana, Anda merasakan overhead.
Dan desentralisasi bukanlah sihir. Verifier masih merupakan aktor ekonomi. Insentif penting. Dalam satu pengujian stres, kami mensimulasikan koordinasi adversarial di antara sekelompok node. Jaringan tidak runtuh, tetapi skor kepercayaan terdistorsi sebelum penyeimbangan kembali. Itu memberi tahu saya sesuatu yang tidak nyaman. Kebenaran yang dapat diprogram masih bergantung pada keselarasan ekonomi. Itu hanya membuat ketergantungan terlihat.
Apa yang berubah bagi saya bukanlah bahwa Mira “menyelesaikan” halusinasi. Itu tidak. Apa yang berubah adalah akuntabilitas. Setiap klaim sekarang membawa jejak. Sebuah probabilitas. Rekaman siapa yang setuju.
Ketika saya mengirim pembaruan sekarang, saya memeriksa delta kepercayaan seperti cara saya memeriksa panjang respons. Saya kurang peduli tentang keanggunan dan lebih peduli tentang stabilitas epistemik. Itu adalah metrik aneh untuk dioptimalkan. Lebih sulit untuk dipasarkan. Lebih mudah untuk tidur.
Beberapa hari saya merindukan kecepatan dari jalur lama. Balasan bersih 1.8 detik. Tetapi saya tidak merindukan ketidakpastian tidak mengetahui bagian mana dari jawaban yang diam-diam diciptakan.
Kebenaran tidak dapat diprogram dengan sempurna. Belum saat ini. Tetapi memaksanya melalui jaringan yang harus setuju secara terbuka mengubah cara Anda merancang sistem. Anda mulai membangun untuk kontestabilitas alih-alih persuasi.
Saya masih tidak yakin ke mana itu mengarah. Tapi saya tahu saya tidak ingin kembali ke asumsi yang diam.