Model hanya memprediksi token

Sebelum memimpin agen, kenali dulu mesin di dalamnya. Agen coding apa pun, entah Claude Code, Codex, atau buatanmu sendiri, dibangun di atas model bahasa besar. Dan model itu hanya melakukan satu hal.

Satu tugas: menebak potongan teks berikutnya

Model menerima teks, lalu memprediksi token berikutnya. Token itu ditambahkan ke teks, lalu model menebak token berikutnya lagi, dan seterusnya sampai jawabannya selesai. Kalimat panjang, kode, bahkan rencana kerja semuanya lahir dari pengulangan tebakan itu.

Tebakannya tidak dipilih secara pasti. Model menghitung peluang untuk banyak token, lalu sampling memilih salah satunya. Karena itu pertanyaan yang sama bisa mendapat jawaban yang sedikit berbeda.

Yang dilihat model: context window

Model tidak punya ingatan. Pada setiap panggilan, ia hanya melihat teks yang dikirim saat itu, yang disebut context window. Isinya biasanya:

• instruksi tetap dari program agen (system prompt),
• percakapan sejauh ini, yang dikirim ulang oleh program setiap kali,
• hasil alat, misalnya isi berkas yang sudah dibaca atau keluaran tes.

Berkas di repomu yang belum dibaca agen tidak ada di sana. Percakapan kemarin juga tidak ada, kecuali programnya menyimpan dan mengirim ulang.

Agen menjawab bahwa fungsi hitungTotal ada di src/keranjang.ts. Kamu belum pernah memberinya berkas itu, dan agen belum membaca apa pun. Apa yang paling mungkin terjadi?

Latihan 1/3

Model mengingatnya dari sesi kemarin.Model menebak dari pola nama yang umum di proyek serupa.Model diam-diam membaca repomu lewat internet.Model menjalankan kodenya di dalam dirinya sendiri.

Periksa

Kenapa model bisa salah dengan yakin

Model dilatih menghasilkan teks yang masuk akal, bukan teks yang sudah diperiksa. Kalau informasinya tidak ada di konteks, model tetap menghasilkan jawaban yang paling mungkin: nama fungsi yang terdengar wajar, versi pustaka yang umum, angka yang pas. Nadanya sama yakinnya dengan jawaban yang benar.

Ini bukan alasan untuk tidak memakai agen. Ini alasan untuk selalu bertanya: dari mana agen tahu itu? Jawaban yang bersumber dari berkas yang dibaca atau perintah yang dijalankan bisa kamu periksa. Jawaban dari ingatan model adalah tebakan.

Mana saja yang ada di context window pada satu panggilan model?

Latihan 2/3

Pilih 3 jawaban.

System prompt dari program agen.Pesan-pesan sebelumnya yang dikirim ulang oleh program.Keluaran alat yang dikembalikan ke model.Berkas di repomu yang belum pernah dibaca agen.

Periksa

Agen menjawab dengan yakin. Apa langkahmu?

Latihan 3/3

kamuBerapa harga es teh di menu warung kita?

agenHarga es teh di menu warung adalah Rp4.000.

Agen menunggu. Apa langkahmu?

Catat Rp4.000 sebagai harga yang benar.Minta agen membaca berkas menu dan menyebutkan baris sumbernya.Tanyakan lagi dengan kalimat lain sampai jawabannya sama dua kali.

Periksa

Yang perlu dibawa

• Model memprediksi token berikutnya, berulang-ulang. Hanya itu.
• Model hanya tahu isi context window pada panggilan itu.
• Jawaban yakin belum tentu benar. Minta sumbernya.