Trực quan hóa cơ chế tràn cửa sổ ngữ cảnh, hiệu ứng Lost-In-The-Middle và các chiến lược nén thông tin.
Context Window (Cửa sổ ngữ cảnh) là giới hạn số lượng token tối đa mà một mô hình LLM có thể xử lý trong một lượt truy vấn.
Lost-In-The-Middle: Hiện tượng mô hình có xu hướng ghi nhớ tốt thông tin ở phần đầu (Primacy effect) và phần cuối (Recency effect) của ngữ cảnh, nhưng lại hay bỏ sót thông tin nằm giữa.
Semantic Compression: Cơ chế thông minh thay vì xóa bỏ hoàn toàn (FIFO), ta sử dụng chính mô hình LLM để tóm tắt các đoạn văn cũ, chỉ giữ lại ý chính để giải phóng không gian cửa sổ ngữ cảnh.