Bỏ qua tới nội dung

Benchmark groundedness

Đo được, tái lập được. Không phải con số tự công bố.

Nhiều công cụ AI tự công bố điểm benchmark cao mà không ai kiểm chứng được, nên đang mất uy tín. Phở làm ngược lại: mỗi con số dưới đây gắn ngày đo, commit mã nguồn, và một lệnh để bạn tự chạy lại. Nếu số cũ, bạn thấy ngay.

Đang đo — chưa công bố số.

Trang này chỉ hiện con số từ một lần chạy thật, có ngày và commit. Chưa có lần chạy công khai nào nên chưa hiện số (không đặt số tạm). Bộ câu hỏi đã sẵn sàng: 56 câu y khoa/nghiên cứu tiếng Việt.

Con số này nghĩa là gì (và không nghĩa là gì)

Groundedness = supported / verifiable — trong đó verifiable = supported + partial + unsupported (khẳng định không kiểm được thì loại khỏi mẫu số, fail-safe). Nó đo mức mỗi khẳng định trong câu trả lời có được abstract mà chính nó trích dẫn chống lưng hay không. Nói cách khác: mức không bịa nguồn.

Nó không phải là "đúng y khoa bao nhiêu phần trăm". Một câu có thể grounded (bám đúng nguồn nó trích) mà nguồn đó vẫn có giới hạn. Đây là thước đo độ trung thành với nguồn, đúng chỗ các công cụ AI hay hỏng.

Cách chúng tôi đo

  1. 56 câu hỏi y khoa/nghiên cứu tiếng Việt (bộ vn-grounding + vn-academic-extended (VN medical + research questions)).
  2. Dịch câu hỏi sang tiếng Anh, tìm bài trên PubMed + OpenAlex (API công khai, không khoá).
  3. Trả lời bám trên abstract lấy được, mỗi khẳng định gắn trích dẫn nguồn.
  4. Một lượt chấm riêng bằng LLM (cùng model, chỉ thấy khẳng định + abstract nó trích) đánh giá từng khẳng định: supported / partial / unsupported.

Vì bước sinh câu và chấm dùng LLM, con số dao động nhẹ giữa các lần chạy — nên nó là ảnh chụp tại một thời điểm (có ngày + commit), không phải hằng số.

Tự chạy lại

Cần GOOGLE_GENERATIVE_AI_API_KEY và mạng ra PubMed/OpenAlex/Gemini:

GOOGLE_GENERATIVE_AI_API_KEY=… pnpm --filter @pho/agent-eval eval:grounding:academic:publish

Chi tiết phương pháp + định nghĩa metric: tài liệu eval.

Nội dung minh hoạ năng lực công cụ, không phải tư vấn điều trị cho ca bệnh cụ thể. Bệnh nhân trong case study là dựng lại (synthetic). Quyết định lâm sàng thuộc về bác sĩ.