AI Context
AI Context là tập hợp dữ liệu, thông tin và tín hiệu liên quan được cung cấp cho AI tại thời điểm xử lý để giúp hệ thống hiểu đúng người dùng, doanh nghiệp, tình huống và mục tiêu của tác vụ.
Context có thể bao gồm nội dung cuộc hội thoại, lịch sử tương tác, thông tin khách hàng, trạng thái giao dịch, dữ liệu doanh nghiệp, hướng dẫn hệ thống hoặc thông tin được truy xuất từ các nguồn bên ngoài. Google Cloud định nghĩa context window là lượng token mà model có thể xử lý trong một prompt. Tuy nhiên, trong một hệ thống AI thực tế, context rộng hơn giới hạn của context window và có thể được xây dựng từ nhiều nguồn dữ liệu khác nhau.
Những thành phần chính AI Context
AI Context không chỉ là nội dung người dùng nhập vào. Một context hữu ích thường kết hợp nhiều loại thông tin liên quan đến tác vụ.
1. User và customer context
Bao gồm thông tin về người dùng hoặc khách hàng như danh tính, nhu cầu, lịch sử tương tác, preferences, trạng thái tài khoản hoặc các thông tin đã được xác nhận trước đó. Context này giúp AI tránh xử lý mọi khách hàng như một trường hợp hoàn toàn mới.
2. Conversation context
Là những thông tin xuất hiện trong cuộc hội thoại hiện tại, chẳng hạn câu hỏi trước đó, yêu cầu của người dùng, các thông tin đã cung cấp và trạng thái của tác vụ. Context giúp AI duy trì tính liên tục giữa các lượt trao đổi.
3. Business context
Bao gồm dữ liệu và quy tắc liên quan đến doanh nghiệp như sản phẩm, chính sách, trạng thái đơn hàng, thông tin CRM, quy trình xử lý hoặc business rules. Đây là lớp context giúp AI hiểu câu hỏi trong bối cảnh vận hành thực tế thay vì chỉ dựa vào kiến thức chung của model.
4. Retrieved context
AI có thể truy xuất thông tin liên quan từ knowledge base, database hoặc các nguồn dữ liệu khác rồi đưa phần thông tin phù hợp vào prompt. Đây là cách RAG bổ sung dữ liệu bên ngoài vào context để tạo phản hồi phù hợp và có cơ sở hơn.
Cách AI Context hoạt động
Một workflow context cơ bản thường gồm bốn bước:
1. Collect: Xác định các nguồn dữ liệu có thể cung cấp thông tin liên quan đến tác vụ.
2. Select: Chọn những thông tin phù hợp với user, task và thời điểm xử lý thay vì đưa toàn bộ dữ liệu vào model.
3. Assemble: Kết hợp thông tin được chọn thành context mà AI có thể sử dụng trong lần xử lý hiện tại.
4. Execute: AI sử dụng context cùng với instructions và khả năng của model để tạo phản hồi hoặc thực hiện tác vụ.
Trong các hệ thống agent, context có thể được bổ sung động trước mỗi lần invocation thông qua các context provider. Microsoft Agent Framework mô tả context providers là cơ chế có thể thêm context trước khi agent thực thi và xử lý dữ liệu sau khi execution hoàn tất.
AI Context khác gì Context Window và AI Memory?
| Aspect | AI Context | Context Window | AI Memory |
|---|---|---|---|
| Role | Cung cấp thông tin cần thiết để AI hiểu và xử lý tình huống | Xác định lượng thông tin model có thể xử lý trong một lần | Duy trì thông tin để sử dụng trong các tương tác sau |
| Scope | Theo user, task, conversation hoặc business context | Theo từng request hoặc model invocation | Có thể theo user, account, session hoặc organization |
| Focus | Relevance và context của tác vụ | Capacity của model | Continuity và information persistence |
AI Context quan trọng như thế nào trong production?
Khi AI được triển khai trong production, chất lượng output không chỉ phụ thuộc vào model mà còn phụ thuộc vào context được cung cấp. Nếu AI thiếu thông tin về khách hàng, trạng thái giao dịch hoặc quy tắc doanh nghiệp, phản hồi có thể đúng về mặt ngôn ngữ nhưng không phù hợp với tình huống thực tế.
Ví dụ, khi khách hàng hỏi về một đơn hàng, context phù hợp có thể bao gồm danh tính khách hàng, mã đơn hàng, trạng thái giao hàng và chính sách liên quan. Khi các thông tin này được đưa vào context, AI có cơ sở để xử lý câu hỏi cụ thể thay vì đưa ra câu trả lời chung.
Tuy nhiên, context không đảm bảo AI luôn đưa ra kết quả chính xác. Context cần được đánh giá về relevance, freshness, quality, access control và privacy. Với RAG, chất lượng retrieval cũng đặc biệt quan trọng vì thông tin không liên quan được đưa vào context có thể dẫn đến output sai hoặc lệch mục tiêu.
Khi nào nên sử dụng AI Context?
AI Context đặc biệt quan trọng khi doanh nghiệp cần AI:
- Hiểu khách hàng dựa trên dữ liệu và lịch sử tương tác
- Xử lý hội thoại nhiều lượt mà không mất thông tin liên quan
- Sử dụng dữ liệu doanh nghiệp trong quá trình trả lời hoặc thực hiện tác vụ
- Truy xuất thông tin phù hợp từ knowledge base hoặc hệ thống dữ liệu
- Thực hiện workflow dựa trên trạng thái và tình huống cụ thể
AI Context là lớp kết nối giữa data và AI execution. Context Window quyết định model có thể tiếp nhận bao nhiêu thông tin, Memory giúp duy trì thông tin theo thời gian, còn retrieval và grounding giúp bổ sung dữ liệu phù hợp từ các nguồn bên ngoài. Các thành phần này thường phối hợp trong hệ thống AI production để cung cấp context phù hợp cho từng tác vụ.