AI Memory

Khác với context chỉ tồn tại trong một phiên làm việc, AI Memory có thể duy trì thông tin qua nhiều phiên, giúp AI xây dựng sự liên tục trong hội thoại, cá nhân hóa phản hồi và sử dụng những thông tin đã biết để hỗ trợ các quyết định hoặc hành động tiếp theo. Microsoft phân biệt short term memory, dùng để duy trì context trong phiên hiện tại, với long term memory, lưu giữ tri thức đã được chắt lọc qua nhiều phiên.

Những thành phần chính của AI Memory

AI Memory không nhất thiết phải lưu toàn bộ lịch sử tương tác. Một hệ thống memory có thể chọn lọc và lưu những thông tin có giá trị cho các tương tác sau này.

1. Conversation context

AI có thể duy trì những thông tin quan trọng trong cuộc hội thoại hiện tại như yêu cầu, trạng thái tác vụ, thông tin đã cung cấp hoặc kết quả của các bước trước đó. Đây là dạng short term memory, giúp AI không phải yêu cầu người dùng lặp lại thông tin trong cùng một phiên.

2. Lịch sử và sự kiện

Memory có thể lưu lại những tương tác, quyết định, hành động hoặc sự kiện đã xảy ra để AI có thể tham chiếu trong các tác vụ sau. Các hệ thống agent memory hiện đại có thể phân biệt episodic memory, lưu lại tương tác và sự kiện, với semantic memory, chắt lọc những thông tin có thể tái sử dụng thành facts hoặc rules.

3. Preferences và customer context

Trong môi trường doanh nghiệp, AI Memory có thể duy trì thông tin như sở thích của khách hàng, lịch sử tương tác, quyết định trước đó hoặc trạng thái của một tài khoản. Điều này cho phép AI tạo ra trải nghiệm nhất quán và có tính cá nhân hóa hơn qua nhiều phiên.

4. Enterprise knowledge

Memory cũng có thể giúp AI sử dụng các thông tin liên quan đến doanh nghiệp, chẳng hạn quy tắc vận hành, lịch sử xử lý, trạng thái dự án hoặc context của một tài khoản. Tuy nhiên, memory không nên được xem là nguồn sự thật duy nhất. Google Cloud phân biệt persistent memory với knowledge base dùng cho retrieval và grounding, trong đó knowledge base cung cấp thông tin có cấu trúc để AI truy xuất khi cần.

Cách AI Memory hoạt động

Một workflow memory cơ bản thường gồm bốn bước:

• (1) Capture: Thu thập conversation, events, user preferences hoặc trạng thái của tác vụ.
• (2) Extract: Xác định thông tin có giá trị thay vì lưu toàn bộ lịch sử một cách không chọn lọc.
• (3) Store: Lưu thông tin vào một memory store với phạm vi phù hợp, chẳng hạn theo user, account, team hoặc organization.
• (4) Retrieve: Khi có tương tác hoặc tác vụ mới, hệ thống truy xuất những memory liên quan và đưa chúng vào context để AI sử dụng.

Các hệ thống hiện đại có thể tự động trích xuất và cập nhật long term memory từ các phiên hội thoại, đồng thời duy trì memory theo từng scope để kiểm soát thông tin được chia sẻ giữa người dùng hoặc tổ chức.

AI Memory khác gì Context Window và Knowledge Base?

Context window chủ yếu quản lý thông tin mà model có thể sử dụng trong một lần xử lý, trong khi memory tạo ra khả năng duy trì context lâu hơn. Knowledge base lại đóng vai trò nguồn thông tin để AI retrieval và grounding.

AI Memory quan trọng như thế nào trong production?

Khi AI chỉ xử lý các câu hỏi độc lập, memory có thể không cần thiết. Nhưng với AI Agent thực hiện các workflow kéo dài, memory trở nên quan trọng để duy trì trạng thái, lịch sử và context giữa các bước hoặc các phiên.

Ví dụ, một AI sales agent có thể ghi nhớ lịch sử trao đổi, nhu cầu trước đó và quyết định của khách hàng để tiếp tục follow up mà không phải bắt đầu lại từ đầu. Một customer service agent có thể sử dụng lịch sử xử lý để hiểu vấn đề đã xảy ra và tiếp tục hỗ trợ khách hàng trong lần tương tác tiếp theo.

Tuy nhiên, memory cũng tạo ra yêu cầu về data quality, privacy, access control và governance. Thông tin được lưu hôm nay có thể ảnh hưởng đến hành vi của AI trong tương lai, vì vậy doanh nghiệp cần xác định thông tin nào được phép lưu, thời gian lưu, phạm vi truy cập và cách cập nhật hoặc loại bỏ memory. Microsoft cũng lưu ý rằng persistent memory có thể tác động đến hành vi và quyết định của agent ngoài context ban đầu.

Khi nào nên sử dụng AI Memory?

AI Memory phù hợp khi doanh nghiệp cần AI:

• Duy trì context qua nhiều phiên tương tác
• Cá nhân hóa trải nghiệm dựa trên lịch sử
• Nhớ preferences hoặc quyết định trước đó của khách hàng
• Tiếp tục các workflow kéo dài mà không mất trạng thái
• Sử dụng context tích lũy để cải thiện tính nhất quán của phản hồi và hành động

AI Memory không thay thế Knowledge Base, RAG hoặc Context Window. Trong một hệ thống AI production, các thành phần này thường phối hợp với nhau để cung cấp context phù hợp, truy xuất tri thức và duy trì trạng thái theo từng tác vụ.