Một kết quả có ý nghĩa thống kê nghĩa là nó khó có thể chỉ do may rủi mà ra, nếu giả sử thật ra không có hiệu ứng gì. Nó không có nghĩa là hiệu ứng đó lớn, quan trọng, hay chắc chắn đúng. Hiểu được hai vế này là bạn đã đọc báo khoa học tỉnh táo hơn phần lớn mọi người.
Chào bạn, đây là Nhà Toán Học. Cụm từ có ý nghĩa thống kê xuất hiện trong rất nhiều bản tin về sức khoẻ, giáo dục, kinh tế. Tập này mình giải thích nó qua một thí nghiệm nếm trà nổi tiếng, rồi chỉ ra ba cách hiểu sai phổ biến nhất.
Thí nghiệm nếm trà nổi tiếng
Nhà thống kê Anh Ronald Fisher kể về một thí nghiệm thế này. Một quý bà nói rằng bà phân biệt được tách trà sữa rót sữa trước hay rót trà trước. Làm sao kiểm tra lời bà mà không bị may rủi đánh lừa.
Fisher đề xuất pha tám tách, bốn tách rót sữa trước, bốn tách rót trà trước, xếp theo thứ tự ngẫu nhiên, và nói trước với bà là mỗi loại có bốn tách. Bà phải chỉ ra bốn tách rót sữa trước.
Nếu bà hoàn toàn đoán mò, có bảy mươi cách chọn bốn tách trong tám tách, và chỉ một cách đúng hoàn toàn. Vậy khả năng đoán mò mà đúng hết là một phần bảy mươi, chưa tới một phần trăm rưỡi.
Nếu bà đúng hết, ta có lý do khá mạnh để tin bà không đoán mò. Theo lời kể lại, bà đã chọn đúng. Thí nghiệm này trở thành ví dụ mở đầu cho cách nghĩ của thống kê hiện đại.
Con số p nói gì?
Cách nghĩ ở đây là: tạm giả sử không có gì đặc biệt cả, quý bà chỉ đoán mò. Rồi hỏi: nếu vậy, khả năng thấy một kết quả tốt như thế hoặc tốt hơn là bao nhiêu. Con số đó gọi là giá trị p.
Giá trị p nhỏ nghĩa là kết quả quan sát được rất khó xảy ra nếu chỉ có may rủi. Khi đó người ta nói kết quả có ý nghĩa thống kê, và nghiêng về phía có hiệu ứng thật.
Ngưỡng hay được dùng là không phẩy không năm, tức một phần hai mươi. Ngưỡng này là một quy ước để thuận tiện, không có gì thần kỳ. Không phẩy không bốn chín và không phẩy không năm mốt gần như là cùng một bằng chứng.
Lưu ý rất quan trọng: giá trị p không phải là khả năng giả thuyết đúng hay sai. Nó là khả năng thấy dữ liệu như vậy nếu giả sử không có hiệu ứng. Hai câu nghe giống nhau nhưng khác nhau hoàn toàn, y như chuyện xét nghiệm dương tính ở tập trước.
Hiểu sai thứ nhất: có ý nghĩa thống kê là quan trọng
Chữ ý nghĩa trong tiếng Việt dễ làm người ta nghĩ là quan trọng. Thật ra nó chỉ có nghĩa là khó do may rủi.
Với một nghiên cứu rất lớn, hàng trăm nghìn người, một khác biệt cực nhỏ cũng có thể có ý nghĩa thống kê. Ví dụ một loại thực phẩm giả định làm thay đổi một chỉ số sức khoẻ đi một chút xíu, đo được nhưng không ai cảm thấy.
Vì vậy khi đọc tin, câu hỏi thứ hai luôn phải là: hiệu ứng lớn cỡ nào. Tăng gấp đôi hay tăng một phần nghìn. Người làm thống kê gọi đó là cỡ hiệu ứng, và nó quan trọng không kém giá trị p.
Ngược lại, một nghiên cứu nhỏ có thể bỏ lỡ một hiệu ứng lớn thật, chỉ vì có quá ít người để kết quả vượt ngưỡng. Không có ý nghĩa thống kê không có nghĩa là không có hiệu ứng.
Hiểu sai thứ hai: thử nhiều lần rồi chỉ báo cái trúng
Nếu ngưỡng là một phần hai mươi, thì cứ thử hai mươi thứ hoàn toàn vô tác dụng, trung bình sẽ có một thứ vượt ngưỡng chỉ nhờ may rủi.
Hãy tưởng tượng ai đó kiểm tra xem hai mươi loại rau khác nhau, loại nào liên quan tới một bệnh. Không loại nào có tác dụng thật, nhưng một loại tình cờ vượt ngưỡng. Bản tin ra: ăn loại rau này liên quan tới bệnh. Mười chín lần thử không có gì thì không ai nhắc.
Đây là lý do các nhà khoa học nghiêm túc phải đăng ký trước họ sẽ kiểm tra cái gì, điều chỉnh ngưỡng khi thử nhiều thứ cùng lúc, và coi trọng việc nhóm khác lặp lại được kết quả.
Khi đọc một kết quả gây sốc từ một nghiên cứu duy nhất, hãy tự hỏi: họ đã thử bao nhiêu thứ trước khi tìm ra thứ này.
Hiểu sai thứ ba: có ý nghĩa thống kê là đã chứng minh
Thống kê không chứng minh theo nghĩa của toán học. Nó chỉ cho biết dữ liệu ủng hộ một giả thuyết mạnh hay yếu. Một kết quả có giá trị p nhỏ vẫn có thể là may rủi, chỉ là khó hơn.
Nó cũng không nói gì về nguyên nhân. Nếu thiết kế nghiên cứu có vấn đề, ví dụ hai nhóm so sánh khác nhau từ đầu, thì giá trị p đẹp đến đâu cũng chỉ là tính đúng trên dữ liệu sai.
Cách đọc tỉnh táo là xem cả bức tranh: cỡ mẫu bao nhiêu, cỡ hiệu ứng lớn hay nhỏ, thiết kế có đối chứng không, đã có ai lặp lại chưa.
Câu đố nhỏ: nếu quý bà nếm trà chọn đúng ba trong bốn tách rót sữa trước, khả năng đoán mò mà đạt từ ba tách đúng trở lên là bao nhiêu. Gợi ý, có mười sáu cách chọn đúng đúng ba tách.
Câu hỏi thường gặp
Giá trị p là gì nói đơn giản?
Là khả năng thấy một kết quả như vậy hoặc cực đoan hơn, nếu giả sử thật ra không có hiệu ứng gì. Giá trị p nhỏ nghĩa là kết quả khó giải thích chỉ bằng may rủi.
Vì sao ngưỡng thường là không phẩy không năm?
Đây là một quy ước được dùng rộng rãi từ thế kỷ hai mươi để thuận tiện, không có cơ sở tự nhiên nào bắt buộc. Nhiều lĩnh vực dùng ngưỡng chặt hơn, như vật lý hạt yêu cầu bằng chứng mạnh hơn rất nhiều.
Không có ý nghĩa thống kê có phải là không có tác dụng?
Không. Nó chỉ có nghĩa là dữ liệu chưa đủ mạnh để loại trừ may rủi. Có thể hiệu ứng thật nhưng nhỏ, hoặc nghiên cứu có quá ít người tham gia.
Ronald Fisher là ai?
Ông là nhà thống kê và nhà di truyền học người Anh thế kỷ hai mươi, có nhiều đóng góp nền tảng cho thống kê hiện đại, đặc biệt là thiết kế thí nghiệm và kiểm định giả thuyết.
Đọc tin về nghiên cứu khoa học nên hỏi những gì?
Nên hỏi nghiên cứu có bao nhiêu người, hiệu ứng lớn cỡ nào, có nhóm đối chứng không, có phải kết quả duy nhất hay đã được lặp lại, và ai tài trợ cho nghiên cứu.
