Clinical Research Bench
Model AI hàng đầu có trích dẫn bằng chứng thật cho câu hỏi y khoa không? Chúng tôi kiểm từng trích dẫn.
Bản ra mắt · 2026-09-23 · 5 model · 15 câu Cochrane + 5 câu bẫy "thuốc ma" · chạy 1 lần. Ảnh chụp tại một thời điểm: hãy đọc số đếm, không chỉ phần trăm.
từ model tốt nhất tới kém nhất. Không hợp lệ = mã PMID/DOI không tồn tại, hoặc có thật nhưng nói về chủ đề khác.
giảm từ 16 khi hỏi thẳng. "Nói quá" = kết luận chắc chắn trong khi tổng quan Cochrane 2026 nói chưa đủ bằng chứng.
mọi model đều nói không biết thuốc / thử nghiệm / chỉ dấu bịa ra, ở cả hai vòng.
Vòng 1: hỏi thẳng model
Mỗi model trả lời cùng 15 câu, được yêu cầu trích PMID hoặc DOI, không có công cụ. Chúng tôi tra từng mã trên PubMed và hệ thống DOI, rồi kiểm bài đó có đúng chủ đề câu hỏi không.
| Model | Trích dẫn không hợp lệ | trong đó có thật nhưng lạc đề | Khẳng định được nguồn ủng hộ | Nói quá / nói ngược |
|---|---|---|---|---|
| Claude Opus 5.5 | 3% (1/37) | 0 | 37% (29/79) | 4 / 1 |
| GPT-6 Sol | 17% (5/29) | 4 | 23% (15/66) | 1 / 1 |
| Grok 4.7 | 22% (5/23) | 4 | 12% (5/41) | 4 / 2 |
| GPT-6 Luna | 42% (13/31) | 10 | 10% (9/90) | 1 / 1 |
| Gemini 3.8 Flash | 91% (59/65) | 57 | <1% (1/209) | 6 / 0 |
Vòng 2: cùng model đó chạy qua Phở
Phở tìm bài báo thật trước, model chỉ trả lời từ các bài đó và trích dẫn chúng. Mọi model nhận cùng một bộ nguồn (xác nhận 20/20 câu), và bài Cochrane làm đáp án cùng mọi phiên bản cũ của nó bị loại khỏi nguồn Phở tìm được.
| Model | Khẳng định có nguồn ủng hộ: hỏi thẳng → qua Phở | Nói quá | Nói ngược |
|---|---|---|---|
| Claude Opus 5.5 | 37% → 68% (167/246) | 4 → 0 | 1 → 0 |
| GPT-6 Sol | 23% → 35% (19/54) | 1 → 0 | 1 → 1 |
| Grok 4.7 | 12% → 55% (32/58) | 4 → 0 | 2 → 1 |
| GPT-6 Luna | 10% → 27% (13/48) | 1 → 0 | 1 → 1 |
| Gemini 3.8 Flash | <1% → 43% (19/44) | 6 → 0 | 0 → 0 |
Cách đo
- Câu hỏi lấy từ bên ngoài Phở. 15 tổng quan hệ thống Cochrane xuất bản 2026, chọn bằng hạt giống ngẫu nhiên cố định. Đáp án chuẩn là kết luận của chính tác giả tổng quan. 5 câu bẫy nhắc tới thuốc / thử nghiệm / chỉ dấu có 0 kết quả trên PubMed, ClinicalTrials.gov và Crossref.
- Kiểm bằng máy trước. Một trích dẫn không hợp lệ nếu mã không tồn tại, hoặc bài báo không có từ chuyên môn nào trùng với câu hỏi (ví dụ trích bài vật lý laser cho câu hỏi cấy ghép răng). Không cần người chấm.
- Một người chấm trung lập cho phần còn lại. Jev, model đánh giá không thuộc hãng nào đang thi, chấm xem abstract được trích có ủng hộ câu văn không. Trên 200 câu PubMedQA có nhãn chuyên gia (giữ riêng để kiểm), Jev khớp chuyên gia 83% (κ 0.67); một bác sĩ nội trú đạt 78% trên cùng bài.
- Đăng ký trước và tái lập được. Câu hỏi, prompt, người chấm và cách tính điểm được chốt ở commit
a50de2c9trước khi chạy. Toàn bộ bản ghi, mọi mã trích dẫn và mọi phán quyết đều công khai. Chi phí cả lần chạy: $2.13.
Điều benchmark này không chứng minh
- Đúng hay sai về mặt lâm sàng. "Được nguồn ủng hộ" nghĩa là abstract được trích chống lưng câu văn, không có nghĩa là y khoa đúng. Không có bác sĩ duyệt bộ câu hỏi.
- Một bảng xếp hạng chính xác. 15 câu, chạy 1 lần: chênh nhau vài câu là ngang nhau.
- Số ở vòng 2 trông khiêm tốn vì đáp án đã bị cố ý loại ra. Nhiều câu trả lời qua Phở đã nói đúng rằng các nghiên cứu tìm được không trả lời dứt điểm câu hỏi.
Dữ liệu, bản ghi và phương pháp
Benchmark này đo mức nguồn được trích có ủng hộ điều model viết hay không. Đây không phải tư vấn y khoa và không phải đánh giá an toàn lâm sàng. Quyết định lâm sàng thuộc về bác sĩ.