Một dự báo được gọi là hiệu chỉnh tốt khi những lần nó nói “70%” thì khoảng bảy trên mười lần điều đó xảy ra. Nghe hiển nhiên, nhưng đây là bài kiểm tra nghiêm ngặt mà không phải mô hình nào cũng qua được. Bạn có thể có một mô hình sắp xếp đúng thứ tự các đội mạnh yếu nhưng liên tục nói những con số quá tự tin. Bảng hiệu chỉnh là công cụ giúp phát hiện điều đó, và nó cũng là cách để so sánh xác suất của một mô hình với xác suất ngầm định trong thị trường tỷ lệ.
Bảng hiệu chỉnh được dựng thế nào
- Thu thập một tập dự báo xác suất đã công bố trước trận, kèm kết quả thật.
- Chia các dự báo vào nhóm theo mức xác suất, ví dụ mỗi nhóm rộng 20 điểm phần trăm.
- Với mỗi nhóm, tính xác suất dự báo trung bình và tần suất sự kiện xảy ra thực tế.
- So hai con số: nếu bằng nhau, nhóm đó được hiệu chỉnh tốt.
- Ước lượng độ nhiễu của từng nhóm, vì nhóm càng ít dự báo thì tần suất càng dao động.
Ví dụ giả định với 100 dự báo
Dữ liệu dưới đây hoàn toàn minh hoạ: 100 dự báo “đội chủ nhà thắng” của một mô hình tưởng tượng, đã chia thành năm nhóm. Cột cuối là sai số chuẩn ước lượng nếu mô hình đúng, tính bằng căn bậc hai của p(1 − p)/n, đơn vị là điểm phần trăm.
| Nhóm dự báo | Số dự báo | Xác suất dự báo TB | Tần suất thực tế | Chênh (điểm %) | Sai số chuẩn (điểm %) |
|---|---|---|---|---|---|
| 0–20% | 16 | 14% | 18,8% | +4,7 | 8,7 |
| 20–40% | 24 | 31% | 33,3% | +2,3 | 9,4 |
| 40–60% | 28 | 50% | 42,9% | −7,1 | 9,4 |
| 60–80% | 20 | 70% | 80,0% | +10,0 | 10,2 |
| 80% trở lên | 12 | 88% | 91,7% | +3,7 | 9,4 |
Chênh lệch trung bình có trọng số theo số dự báo (thường gọi là sai số hiệu chỉnh kỳ vọng) là 5,8 điểm phần trăm. Xác suất trung bình của toàn bộ dự báo là 48,2%, còn tần suất thực tế là 50,0%. Hai con số này khá sát, nghĩa là về tổng thể, mô hình không lệch hẳn sang cao hay thấp.
Điều quan trọng nằm ở từng nhóm. Nhóm 20–40% có chênh +2,3 điểm và nhóm 60–80% có chênh 10,0 điểm, nhưng sai số chuẩn của hai nhóm lần lượt khoảng 9,4 và 10,2 điểm. Vì chênh lệch nhỏ hơn hoặc xấp xỉ sai số chuẩn, ta chưa thể nói mô hình sai ở những nhóm này; chỉ có thể nói dữ liệu chưa đủ để kết luận.
Các hình dạng lệch thường gặp
- Quá tự tin: các nhóm xác suất cao có tần suất thực tế thấp hơn dự báo, nhóm xác suất thấp có tần suất thực tế cao hơn. Đường hiệu chỉnh “dẹt” so với đường chéo lý tưởng.
- Quá rụt rè: ngược lại, dự báo luôn quanh 50% dù thực tế phân hoá mạnh. Mô hình có ích nhưng chưa dám tuyên bố.
- Lệch hệ thống: mọi nhóm đều cao hơn hoặc thấp hơn một lượng gần như cố định, ví dụ do chưa tính lợi thế sân nhà.
- Chỉ lệch ở một vùng: chẳng hạn các đội cửa trên được gán quá cao, nhưng phần còn lại ổn.
Liên hệ với thị trường tỷ lệ
Tỷ lệ của các bên tổ chức trò chơi, sau khi loại bỏ phần biên, có thể quy ra xác suất ngầm định. Nghiên cứu về thị trường dự báo nói chung cho thấy xác suất đóng cửa thường được hiệu chỉnh khá tốt, nhưng vẫn có những lệch hệ thống nhỏ, và mức độ khác nhau theo thị trường. Khi bạn dựng bảng hiệu chỉnh cho xác suất ngầm định, nhớ trừ biên trước, nếu không toàn bộ các nhóm sẽ bị đẩy lệch lên cao một chút.
Điều rút ra cho người phân tích là: mô hình của bạn chỉ có ích nếu nó cho thêm thông tin so với xác suất thị trường, không phải chỉ nếu nó “hiệu chỉnh tốt”. Một mô hình tự hiệu chỉnh hoàn hảo nhưng chỉ lặp lại thị trường thì không đem lại gì mới. Tuy vậy, hiệu chỉnh là điều kiện cần: nếu không qua được bài kiểm tra này, các so sánh khác đều thiếu nền tảng.
Tính tay: bỏ biên trước khi so với mô hình
Giả sử một thị trường giả định cho ba kết cục với tỷ lệ thập phân 2,10 cho chủ nhà thắng, 3,40 cho hoà và 3,60 cho khách thắng. Xác suất ngầm định thô là nghịch đảo của từng tỷ lệ, và tổng của ba con số lớn hơn một, phần lớn hơn đó chính là biên.
| Kết cục | Tỷ lệ giả định | Xác suất thô (1/tỷ lệ) | Sau khi chuẩn hoá |
|---|---|---|---|
| Chủ nhà thắng | 2,10 | 0,4762 | 0,4543 |
| Hoà | 3,40 | 0,2941 | 0,2806 |
| Khách thắng | 3,60 | 0,2778 | 0,2650 |
Tổng xác suất thô là 104,8%, nghĩa là biên khoảng 4,8 điểm phần trăm. Cách đơn giản nhất là chia mỗi xác suất thô cho tổng để chúng cộng lại đúng bằng một. Đây không phải cách duy nhất, vì biên có thể được phân bổ không đều giữa các kết cục, nhưng đủ tốt để so sánh sơ bộ với dự báo của mô hình.
Giới hạn và lưu ý
Cần đủ nhiều dự báo trong mỗi nhóm, tối thiểu vài chục, tốt nhất hàng trăm, mới tin được đường hiệu chỉnh. Cách chia nhóm cũng ảnh hưởng đến hình dạng: nhóm quá hẹp thì nhiễu, nhóm quá rộng thì che mất lệch lạc. Ngoài ra, hiệu chỉnh tốt không đồng nghĩa với phân biệt tốt: một mô hình luôn đưa ra tần suất chung của giải cũng được hiệu chỉnh hoàn hảo nhưng vô dụng.
Một điểm tinh tế nữa là thời điểm lấy tỷ lệ. Tỷ lệ mở cửa phản ánh ít thông tin hơn tỷ lệ đóng cửa, vốn đã hấp thụ tin đội hình, thời tiết và lượng người tham gia thị trường. Vì vậy cùng một mô hình có thể trông kém khi so với xác suất đóng cửa nhưng khá ổn khi so với xác suất mở cửa. Hãy ghi rõ mốc thời gian của dữ liệu để kết luận không bị lệch. Cuối cùng, đừng quên rằng mọi so sánh đều cần số trận đủ lớn: vài chục trận không phân biệt nổi hai nguồn xác suất chỉ khác nhau vài điểm phần trăm.
Lưu ý: bài viết chỉ giải thích khái niệm đánh giá mô hình và cách quy đổi xác suất; số liệu trong bảng là giả định. Nội dung chỉ mang tính tham khảo và không khuyến khích cá cược. Hoạt động cá cược chỉ dành cho người từ 18 tuổi trở lên.