Apa itu tetingkap konteks dalam chatbot AI
Pernahkah anda berbual panjang dengan chatbot AI, kemudian ia seolah-olah lupa perkara yang anda sebut di awal perbualan? Ini bukan kerana chatbot itu "malas".
Puncanya ialah satu konsep bernama tetingkap konteks, atau context window dalam bahasa Inggeris.
Memahami konsep ini membantu anda guna chatbot dengan lebih bijak, terutamanya ketika meringkaskan dokumen panjang atau berbual untuk tempoh yang lama.
Apa itu tetingkap konteks?
Menurut IBM, tetingkap konteks ialah jumlah teks yang boleh diambil kira oleh model bahasa besar (LLM) pada satu-satu masa.
Ia diukur dalam token, iaitu cebisan kecil teks seperti sebahagian perkataan, satu perkataan atau tanda baca.
IBM dan Anthropic sama-sama menyamakannya dengan "ingatan kerja" model. Ia berbeza daripada data latihan. Data latihan ialah ilmu yang dipelajari model sebelum dilancarkan, manakala tetingkap konteks ialah apa yang sedang "dilihat" model ketika menjawab anda.
Bayangkan sebuah papan putih
Cara mudah untuk memahaminya ialah dengan membayangkan papan putih di dalam kelas. Setiap mesej, fail dan jawapan ditulis di atas papan itu.
Apabila papan sudah penuh, sebahagian tulisan lama perlu dipadam untuk memberi ruang kepada tulisan baharu.
Chatbot hanya boleh merujuk apa yang masih ada di atas papan.
Saiz papan ini berbeza mengikut model. Dokumentasi Anthropic, misalnya, menyatakan banyak model Claude terkini mempunyai tetingkap konteks sehingga satu juta token.
Apa yang memenuhi tetingkap konteks?
Ramai menyangka hanya soalan terbaharu yang dikira. Sebenarnya, banyak perkara lain turut mengambil ruang:
- Arahan tersembunyi daripada pembangun chatbot, dikenali sebagai system prompt.
- Semua mesej sebelum ini dalam perbualan yang sama, termasuk jawapan chatbot.
- Dokumen, gambar atau fail PDF yang anda muat naik.
- Jawapan yang sedang ditulis oleh chatbot itu sendiri.
Dokumentasi Anthropic menerangkan bahawa setiap giliran perbualan membawa bersama semua sejarah sebelumnya. Maknanya, semakin panjang perbualan, semakin penuh tetingkap konteks.
Apa berlaku apabila ia penuh?
IBM menjelaskan bahawa input yang melebihi had perlu dipendekkan, sama ada dipotong atau diringkaskan. Dalam proses itu, maklumat awal boleh hilang. Inilah sebabnya chatbot kadang-kadang lupa butiran yang anda beri di permulaan.
Tetingkap yang besar juga bukan jaminan jawapan sempurna. IBM menyebut fenomena "lost in the middle", iaitu model lebih cenderung menggunakan maklumat di awal atau di akhir input berbanding di tengah. Anthropic pula menyatakan bahawa ketepatan dan daya ingat model boleh menurun apabila jumlah token semakin banyak.
Kaitan dengan bahasa selain Inggeris
IBM turut menyatakan bahawa tiada kadar tetap antara perkataan dan token. Sesetengah bahasa memerlukan lebih banyak token untuk makna yang sama. Ini bermakna teks dalam bahasa tertentu boleh memenuhi tetingkap konteks lebih cepat berbanding teks Inggeris yang sama panjang.
Tip praktikal untuk pengguna
- Mulakan perbualan baharu untuk topik baharu. Ini mengosongkan ruang dan mengelakkan chatbot keliru dengan topik lama.
- Ulang maklumat penting. Jika perbualan sudah panjang, ringkaskan semula perkara utama sebelum meminta tugasan seterusnya.
- Pecahkan dokumen yang sangat panjang. Minta chatbot ringkaskan bab demi bab, kemudian gabungkan ringkasan itu.
- Letak arahan penting di awal atau di akhir prompt. Ini selari dengan dapatan bahawa maklumat di tengah lebih mudah terlepas pandang.
- Semak semula jawapan. Terutamanya jika jawapan bergantung pada butiran kecil dalam dokumen panjang.
Rumusan
Tetingkap konteks ialah had "ingatan kerja" sesebuah chatbot AI. Semua mesej, fail dan jawapan dalam satu perbualan berkongsi ruang yang sama.
Dengan memahami had ini, anda boleh menyusun perbualan dengan lebih kemas dan mendapat jawapan yang lebih tepat.
Sumber: