Về Chương 1
Token Predictor

Mô Hình Đoán Từ (Transformer Engine)

Hiểu cách LLM xử lý Context Window và tính toán Top-K Softmax.

Context Window (1/5 capacity)
0Thị trường
Softmax Layer
Top-K Next Token Distribution
Top"chứng khoán"
65.0%
Top"bất động sản"
20.0%
Top"tài chính"
10.0%
"tiền tệ"
5.0%
0 tokens đã sinh
Live Metrics
Context Tokens
1
Vocab Size
~100K

Bản chất AI (Top-K)

LLM tính toán xác suất của toàn bộ từ vựng (Vocab Size ~ 100,000 từ) để đoán token tiếp theo.

Quy tắc Softmax (Top-K):AI chỉ giữ lại danh sách K token có khả năng cao nhất để bạn lựa chọn, loại bỏ hoàn toàn các từ vô lý.

*Click vào các option bên trái để mô phỏng quá trình AI "rẽ nhánh" tự suy luận.

Tóm tắt: Bản chất quá trình sinh văn bản