Khi điều cần tìm rất hiếm, một máy kiểm tra đúng 99% vẫn có thể cho phần lớn kết quả báo là báo nhầm: nếu lỗi thật chỉ có một phần nghìn và máy báo nhầm 1% hàng tốt, thì trong số hàng bị máy báo, chỉ khoảng 9% là lỗi thật. Lý do là hàng tốt nhiều hơn hàng lỗi gấp cả nghìn lần, nên 1% báo nhầm trên hàng tốt vẫn nhiều hơn hẳn số lỗi thật.
Người học thống kê gọi đây là bài toán tỉ lệ nền. Bài này không dùng công thức mà đếm bằng một nhóm 100.000 sản phẩm tưởng tượng, cách dễ nhất để thấy chuyện gì đang xảy ra. Mọi con số về độ chính xác của máy và tỉ lệ lỗi trong bài là số ví dụ.
Đếm bằng 100.000 sản phẩm
Một xưởng gốm ở TP Hồ Chí Minh dùng máy soi để tìm cốc bị nứt. Giả định: cứ 1.000 chiếc có 1 chiếc nứt; máy phát hiện được 99% chiếc nứt; máy báo nhầm 1% chiếc lành là nứt. Lấy 100.000 chiếc để đếm.
| Nhóm | Số chiếc | Máy báo nứt | Máy báo lành |
|---|---|---|---|
| Cốc nứt thật (1 phần nghìn) | 100 | 99 | 1 |
| Cốc lành (phần còn lại) | 99.900 | 999 (1% báo nhầm) | 98.901 |
| Tổng | 100.000 | 1.098 | 98.902 |
Máy báo nứt 1.098 chiếc, nhưng chỉ 99 chiếc nứt thật. 99 chia 1.098 được khoảng 0,09, tức khoảng 9%. Hơn chín phần mười số lần máy kêu là báo nhầm.
Ngược lại, trong 98.902 chiếc máy báo lành, chỉ 1 chiếc thật ra bị nứt. Nghĩa là khi máy báo lành thì gần như chắc là lành. Máy này rất giỏi loại trừ, nhưng một lần báo nứt thì chưa nói được nhiều.
Cách đếm bằng số chiếc thay vì phần trăm có tên là đếm theo tần suất. Nó tránh được hầu hết lỗi khi tính xác suất có điều kiện, kể cả với người đã quên hết công thức.
Chọn 100.000 chứ không phải 100 vì với tỉ lệ một phần nghìn, nhóm 100 chiếc còn chưa có nổi một chiếc nứt. Nhóm phải đủ lớn để mỗi ô trong bảng là một số đếm được.
Vì sao cảm giác nói 99% mà thực tế chỉ 9%
Khi nghe "máy đúng 99%", đa số hiểu rằng máy kêu thì 99% là có lỗi. Đó là nhầm hai câu hỏi. "Máy đúng 99%" nói về: nếu cốc nứt thì máy báo nứt trong 99% trường hợp. Còn điều ta muốn biết là: máy đã báo nứt thì cốc nứt thật với khả năng bao nhiêu. Hai câu này đảo chiều nhau, và đáp số có thể khác nhau rất xa.
Phần quyết định là tỉ lệ nền, tức điều cần tìm phổ biến đến đâu trước khi kiểm tra. Ở ví dụ trên, cốc nứt chỉ một phần nghìn, còn tỉ lệ báo nhầm là một phần trăm, lớn hơn mười lần. Khi tỉ lệ báo nhầm lớn hơn tỉ lệ nền, số báo nhầm sẽ áp đảo số báo đúng.
Một quy tắc nhẩm: so tỉ lệ nền với tỉ lệ báo nhầm. Nếu tỉ lệ nền nhỏ hơn tỉ lệ báo nhầm mười lần, thì cứ khoảng mười lần báo nhầm mới có một lần báo đúng. Nếu tỉ lệ nền lớn hơn tỉ lệ báo nhầm nhiều lần, phần lớn lần báo sẽ là thật.
Câu tự hỏi mỗi khi nghe về một phép kiểm "rất chính xác": "Điều đang tìm hiếm cỡ nào, và máy báo nhầm cỡ nào?". Thiếu một trong hai con số này thì chưa thể biết một lần báo có ý nghĩa đến đâu.
Cùng một máy, khác tỉ lệ nền
Giữ nguyên máy: phát hiện 99% lỗi thật, báo nhầm 1% hàng tốt. Chỉ đổi mức phổ biến của lỗi. Mỗi dòng đếm trên 100.000 sản phẩm.
| Tỉ lệ lỗi thật | Lỗi thật bị báo | Hàng tốt bị báo nhầm | Trong số bị báo, phần là lỗi thật |
|---|---|---|---|
| 1 phần 10.000 | 9,9 | 999,9 | khoảng 1% |
| 1 phần 1.000 | 99 | 999 | khoảng 9% |
| 1 phần 100 | 990 | 990 | khoảng 50% |
| 1 phần 10 | 9.900 | 900 | khoảng 92% |
Cùng một chiếc máy, khi lỗi phổ biến thì mỗi lần báo gần như là thật; khi lỗi hiếm thì phần lớn lần báo là nhầm. Độ chính xác của máy không đổi, chỉ có tỉ lệ nền đổi.
Dòng "1 phần 100" cho thấy điểm cân bằng: khi tỉ lệ nền bằng tỉ lệ báo nhầm, số báo đúng xấp xỉ số báo nhầm, mỗi lần báo có khoảng một nửa khả năng là thật.
Hệ quả thực tế: cùng một phép kiểm, đem dùng ở nơi có nhiều lỗi thì đáng tin, đem dùng để rà soát diện rộng ở nơi gần như không có lỗi thì phần lớn lần báo là nhầm. Vì vậy người ta hay chỉ kiểm những lô có dấu hiệu nghi ngờ trước, để nâng tỉ lệ nền của nhóm được kiểm lên.
Câu tự kiểm khi đọc bảng: nhìn cột hàng tốt bị báo nhầm. Cột ấy hầu như không đổi giữa các dòng, khoảng một nghìn, vì hàng tốt luôn chiếm gần hết nhóm. Chỉ cột lỗi thật đổi theo tỉ lệ nền, và chính nó quyết định kết quả.
Kiểm lại lần hai: vì sao hữu ích và khi nào không
Cách xử lý thường gặp là đem những chiếc bị báo đi kiểm lần hai. Làm theo các bước sau để tự tính hiệu quả.
- Lấy nhóm bị báo ở lần đầu: 99 chiếc nứt thật và 999 chiếc lành.
- Cho qua một máy thứ hai cùng độ chính xác nhưng hoạt động độc lập. Trong 99 chiếc nứt, máy báo lại khoảng 98. Trong 999 chiếc lành, máy báo nhầm lại khoảng 10.
- Nhóm bị báo cả hai lần có khoảng 98 chiếc nứt thật và 10 chiếc lành. Phần nứt thật là 98 chia 108, khoảng 91%.
- So sánh: sau một lần báo chỉ khoảng 9%, sau hai lần báo độc lập lên khoảng 91%.
Điều kiện quan trọng là hai lần kiểm phải độc lập. Nếu máy thứ hai nhầm vì cùng một lý do với máy thứ nhất, ví dụ cùng bị lừa bởi một vết men bóng, thì những chiếc lành bị báo nhầm lần đầu sẽ lại bị báo nhầm lần hai, và kiểm lại không giúp gì. Lần kiểm thứ hai tốt nhất là dùng một cách khác hẳn: máy khác nguyên lý, người soi bằng mắt, hay một phép thử khác.
Tự dựng bảng đếm cho một tình huống của bạn
Gặp một phép kiểm bất kỳ, bạn có thể tự dựng bảng như ở trên trong vài phút. Chỉ cần ba con số đầu vào, tìm từ nguồn chính thức hoặc từ người cung cấp phép kiểm.
- Ghi ba con số: điều cần tìm phổ biến đến đâu (tỉ lệ nền), phép kiểm bắt được bao nhiêu phần trường hợp thật, phép kiểm báo nhầm bao nhiêu phần trường hợp không có.
- Chọn một nhóm tưởng tượng đủ lớn để các số đếm ra số nguyên, thường là 10.000 hay 100.000.
- Chia nhóm thành hai phần theo tỉ lệ nền: có và không có.
- Trong phần "có", nhân với tỉ lệ bắt được để ra số báo đúng. Trong phần "không có", nhân với tỉ lệ báo nhầm để ra số báo nhầm.
- Lấy số báo đúng chia cho tổng số bị báo. Đó là khả năng một lần báo là thật.
- Đổi tỉ lệ nền lên xuống mười lần, làm lại, xem kết luận đổi đến đâu.
Bước sáu cho biết kết luận của bạn nhạy với tỉ lệ nền cỡ nào. Nếu không chắc về tỉ lệ nền, đừng kết luận từ một con số duy nhất mà nêu cả một khoảng.
Nếu thiếu con số báo nhầm, đừng tự đoán là bằng không. Gần như mọi phép kiểm thực tế đều có báo nhầm, chỉ là nhiều hay ít.
Gặp ở đâu ngoài nhà máy
Chuông báo của camera an ninh. Kẻ đột nhập rất hiếm, còn mèo, lá cây, bóng xe chạy qua thì nhiều. Chuông kêu mỗi đêm vài lần mà gần như toàn báo nhầm, đến mức chủ nhà tắt hẳn đi. Cách chữa là giảm báo nhầm hoặc thêm bước xác nhận, không phải tăng độ nhạy. Một chuông kêu nhầm quá nhiều còn nguy hơn không có chuông, vì người ta quen bỏ qua nó, kể cả lần kêu đúng.
Bộ lọc thư rác. Nếu thư quan trọng hiếm trong hộp thư rác, mỗi lần lục hộp rác thường chỉ thấy rác thật. Nhưng một thư quan trọng bị lọc nhầm vẫn có thể có, nên thỉnh thoảng nhìn qua là hợp lý.
Xét nghiệm sàng lọc trong y tế. Cùng một logic: với bệnh hiếm, một kết quả dương tính của xét nghiệm sàng lọc chưa có nghĩa là mắc bệnh, nên bác sĩ thường cho làm thêm xét nghiệm khác để khẳng định. Ý nghĩa cụ thể của từng kết quả phải hỏi bác sĩ, bài này không thay lời khuyên y khoa.
Nghi ngờ trong đời thường. Một dấu hiệu "đáng ngờ" ở một người, khi điều bị nghi là rất hiếm, phần lớn lần là nhầm. Biết điều này giúp tránh kết luận vội về người khác.
Những chỗ hay nhầm khi đọc kết quả kiểm tra
Anh Toàn, kỹ sư chất lượng ở Bắc Ninh, tổng kết các chỗ đồng nghiệp mới vào nghề hay nhầm.
- Hiểu "máy đúng 99%" là "máy báo thì 99% là thật". Hai câu hỏi đảo chiều, đáp số khác hẳn.
- Chỉ hỏi máy phát hiện được bao nhiêu phần lỗi, mà quên hỏi máy báo nhầm bao nhiêu phần hàng tốt.
- Quên tỉ lệ nền: cùng một máy, dây chuyền ít lỗi sẽ có tỉ lệ báo nhầm trong số bị báo cao hơn dây chuyền nhiều lỗi.
- Kiểm lại bằng chính chiếc máy đó và tin rằng hai lần báo là hai bằng chứng. Nếu nguyên nhân báo nhầm lặp lại, hai lần cũng chỉ như một.
- Tăng độ nhạy của máy để không bỏ sót lỗi nào mà không tính số báo nhầm tăng thêm. Bắt thêm vài lỗi thật có thể kéo theo hàng trăm lần dừng dây chuyền vô ích.
Mỗi khi chỉnh một phép kiểm, anh Toàn vẽ lại bảng 100.000 sản phẩm với con số mới. Mất năm phút, nhưng tránh được các quyết định chỉ dựa vào chữ "99%".
Câu hỏi thường gặp
Vì sao máy đúng 99% mà phần lớn lần báo lại là nhầm?
Vì điều cần tìm quá hiếm. Nếu lỗi thật chỉ một phần nghìn mà máy báo nhầm một phần trăm hàng tốt, số hàng tốt bị báo nhầm sẽ nhiều gấp khoảng mười lần số lỗi thật được báo, nên mỗi lần báo chỉ có khoảng 9% là thật.
Tỉ lệ nền là gì?
Tỉ lệ nền là mức phổ biến của điều cần tìm trước khi kiểm tra, ví dụ cứ một nghìn sản phẩm có một chiếc lỗi. Nó quyết định một kết quả báo có ý nghĩa đến đâu, quan trọng ngang với độ chính xác của máy.
Kiểm tra lần hai có giúp gì không?
Có, nếu lần kiểm thứ hai độc lập với lần đầu. Trong ví dụ, sau một lần báo chỉ khoảng 9% là lỗi thật, sau hai lần báo độc lập lên khoảng 91%. Nếu hai lần nhầm vì cùng một nguyên nhân thì kiểm lại gần như vô ích.
Đếm theo tần suất là gì?
Là thay phần trăm bằng số đếm trên một nhóm tưởng tượng, như 100.000 sản phẩm. Chia nhóm theo có lỗi hay không, rồi theo máy báo hay không, cuối cùng đếm. Cách này tránh được phần lớn lỗi khi tính xác suất có điều kiện.
Kết quả xét nghiệm dương tính với bệnh hiếm có chắc là mắc bệnh không?
Chưa chắc, theo đúng logic tỉ lệ nền. Vì vậy bác sĩ thường cho làm thêm xét nghiệm khác để khẳng định. Ý nghĩa cụ thể của từng loại xét nghiệm cần hỏi trực tiếp bác sĩ, không tự suy ra từ con số phần trăm.
Khi nào thì một lần báo gần như chắc là thật?
Khi điều cần tìm phổ biến hơn nhiều so với tỉ lệ báo nhầm của máy. Ví dụ lỗi chiếm một phần mười sản phẩm và máy chỉ báo nhầm một phần trăm hàng tốt, thì khoảng 92% lần báo là lỗi thật.