BÀI GIẢNG AI · PHẦN NỀN TẢNG

Bên trong một chatbot

Câu hỏi của bạn đi đâu?

Theo chân tấm thẻ cam dưới băng chuyền.

Trạm 2 · Máy cắt

Câu hỏi bị cắt thành token

Token là mảnh chữ, đơn vị nhỏ nhất mà mô hình đọc và viết. Có khi là cả một từ, có khi chỉ là một phần của từ.

Cách cắt ở đây là minh họa. Mỗi mô hình có bộ từ điển mảnh chữ riêng nên cắt khác nhau. Bấm để cắt.

Trạm 3 · Phòng họp

Các từ chú ý vào nhau để hiểu đúng nghĩa

"nó đói": từ nó chú ý mạnh nhất vào mèo. Vậy nó là con mèo.

Đổi thành "nó sợ": sự chú ý quay sang chuột. Đổi một chữ, nghĩa đổi theo.

Bấm 1: xem "nó" chú ý vào đâu. Bấm 2: đổi một chữ. Độ dày đường là mức chú ý (minh họa).

Cơ chế chú ý: Vaswani và cộng sự, "Attention Is All You Need", 2017.

Trạm 4 · núm nhiệt độ

Nhiệt độ: chắc ăn hay sáng tạo

Máy không luôn chọn ứng viên cao nhất mà bốc thăm có trọng số. Núm nhiệt độ quyết định độ liều: thấp thì gần như luôn chọn cái chắc nhất, cao thì cho ứng viên khác cơ hội.

thấp

cao

Bấm để vặn núm lên cao: các cột dẹt xuống, ứng viên khác có cơ hội được bốc (minh họa).

Trả lời câu hỏi lớn

Câu hỏi của bạn bị cắt thành mảnh, đổi thành số, các mảnh chú ý vào nhau, rồi máy đoán từng mảnh trả lời.

HẾT