mandorModelDipakai di 1 pelajaran
Token
Potongan teks, bisa satu kata atau sebagian kata, yang menjadi unit prediksi model.
Model menerima teks sebagai urutan token, lalu memprediksi token berikutnya. Model juga mengukur panjang teks yang dilihatnya dalam token.
Karena token tidak selalu sama dengan kata, satu istilah bisa terpotong menjadi beberapa token. Yang diprediksi model tetap potongan berikutnya, bukan kata utuh.