Cách các nhà khoa học loại bỏ nghiên cứu chất lượng thấp và dữ liệu giả mạo

Nếu bạn đang chịu đựng cơn đau mãn tính, tiểu đường, vấn đề về tim hoặc bất kỳ tình trạng bệnh lý nào khác, bạn muốn chắc chắn rằng bác sĩ sẽ cung cấp cho bạn một phương pháp điều trị hiệu quả. Bạn chắc chắn không muốn lãng phí thời gian hoặc tiền bạc cho thứ gì đó không hiệu quả, hoặc sử dụng thứ có thể gây hại cho bạn.

Mở đầu

Nguồn thông tin tốt nhất để hướng dẫn điều trị là nghiên cứu y học. Nhưng làm thế nào để bạn biết khi nào thông tin đó đáng tin cậy và dựa trên bằng chứng? Và làm sao bạn có thể phân biệt được giữa những kết quả nghiên cứu kém cỏi và những nghiên cứu có giá trị?

Có một chặng đường dài trước khi kết quả nghiên cứu được công bố. Các nhà khoa học thiết kế các thí nghiệm và nghiên cứu để điều tra các câu hỏi về điều trị hoặc phòng ngừa, và tuân theo các nguyên tắc và tiêu chuẩn khoa học nhất định. Sau đó, kết quả được gửi để công bố trên một tạp chí nghiên cứu. Các biên tập viên và những người khác trong lĩnh vực của các nhà nghiên cứu, được gọi là những người đánh giá ngang hàng, sẽ đưa ra đề xuất để cải thiện nghiên cứu. Khi nghiên cứu được cho là đạt yêu cầu, nó sẽ được công bố dưới dạng bài báo tạp chí khoa học.

Nhưng có nhiều điều có thể sai sót trong chặng đường dài này, có thể khiến một bài báo tạp chí khoa học không đáng tin cậy. Đánh giá ngang hàng không được thiết kế để phát hiện dữ liệu giả hoặc gây hiểu lầm. Những nghiên cứu không đáng tin cậy có thể khó phát hiện – dù là đối với các nhà đánh giá hoặc công chúng – nhưng nếu đặt câu hỏi đúng, điều này có thể được thực hiện.

Trong khi hầu hết các nghiên cứu được thực hiện theo các tiêu chuẩn nghiêm ngặt, đôi khi những nghiên cứu có kết quả giả mạo hoặc sai lầm nghiêm trọng vẫn được công bố trong tài liệu khoa học. Khó có thể ước tính chính xác số lượng nghiên cứu gian lận vì quá trình công bố khoa học bắt được một số trong số đó trước khi chúng được công bố. Một nghiên cứu trên 526 thử nghiệm lâm sàng trong lĩnh vực gây mê cho thấy rằng 8% có dữ liệu giả và 26% có sai sót nghiêm trọng.

Là một giáo sư trong lĩnh vực y học và y tế cộng đồng, tôi đã nghiên cứu về sự thiên lệch trong thiết kế, thực hiện và công bố nghiên cứu khoa học trong 30 năm. Tôi đã phát triển các phương pháp để ngăn chặn và phát hiện các vấn đề về tính liêm chính của nghiên cứu, nhằm đảm bảo rằng các bằng chứng tốt nhất có thể được tổng hợp và sử dụng để đưa ra quyết định về sức khỏe. Việc điều tra ra dữ liệu không đáng tin cậy, dù là do gian lận có chủ ý hoặc chỉ là do các thực hành nghiên cứu tồi tệ, là chìa khóa để sử dụng bằng chứng đáng tin cậy nhất cho các quyết định.

Đánh giá hệ thống giúp lọc ra các nghiên cứu yếu kém

Bằng chứng đáng tin cậy nhất xuất phát khi các nhà nghiên cứu tổng hợp kết quả của nhiều nghiên cứu khác nhau trong cái được gọi là đánh giá hệ thống. Các nhà nghiên cứu thực hiện đánh giá hệ thống xác định, đánh giá và tóm tắt tất cả các nghiên cứu về một chủ đề cụ thể. Họ không chỉ lọc qua và kết hợp kết quả trên hàng chục ngàn bệnh nhân, mà còn có thể sử dụng một bộ lọc bổ sung để bắt được các nghiên cứu có thể gian lận và đảm bảo chúng không được đưa vào các khuyến nghị. Điều này có nghĩa là các nghiên cứu nghiêm ngặt hơn sẽ có trọng số lớn hơn trong một đánh giá hệ thống, và các nghiên cứu kém cỏi sẽ bị loại bỏ dựa trên các tiêu chí lựa chọn và loại trừ nghiêm ngặt được áp dụng bởi những người đánh giá.

Để hiểu rõ hơn về cách các nhà đánh giá hệ thống và các nhà nghiên cứu khác có thể xác định các nghiên cứu không đáng tin cậy, nhóm nghiên cứu của tôi đã phỏng vấn một nhóm gồm 30 chuyên gia quốc tế từ 12 quốc gia. Họ giải thích với chúng tôi rằng một nghiên cứu kém chất lượng có thể khó phát hiện vì, như một chuyên gia nói, nó được thiết kế để qua mắt ngay từ cái nhìn đầu tiên.

Theo nghiên cứu mà chúng tôi mới công bố gần đây, một số nghiên cứu trông giống như dữ liệu đã bị điều chỉnh, một số nghiên cứu không được thiết kế tốt như họ tuyên bố, và một số thậm chí có thể hoàn toàn là giả mạo.

Nghiên cứu của chúng tôi đưa ra một số ý tưởng quan trọng về cách phát hiện nghiên cứu y học bị sai lầm hoặc giả mạo và không nên tin tưởng.

Các chuyên gia mà chúng tôi phỏng vấn đã đề xuất một số câu hỏi quan trọng mà các nhà đánh giá nên đặt ra về một nghiên cứu: Ví dụ, nghiên cứu đó có được phê duyệt về mặt đạo đức không? Thử nghiệm lâm sàng có được đăng ký không? Kết quả có vẻ hợp lý không? Nghiên cứu có được tài trợ bởi một nguồn độc lập, không phải là công ty đang thử nghiệm sản phẩm không?

Nếu câu trả lời cho bất kỳ câu hỏi nào trong số này là không, thì cần phải điều tra sâu hơn về nghiên cứu đó.

Đặc biệt, các đồng nghiệp của tôi và tôi đã phát hiện ra rằng có thể đối với những nhà nghiên cứu thực hiện và tổng hợp bằng chứng, việc tạo ra một danh sách các dấu hiệu cảnh báo là khả thi. Những dấu hiệu này không chứng minh dứt khoát rằng nghiên cứu là gian lận, nhưng chúng cho thấy các nhà nghiên cứu cũng như công chúng rằng cần phải xem xét kỹ lưỡng hơn một số nghiên cứu. Chúng tôi đã sử dụng các dấu hiệu cảnh báo này để tạo ra một công cụ sàng lọc – một bộ câu hỏi để hỏi về cách một nghiên cứu được thực hiện và báo cáo – cung cấp manh mối về việc liệu nghiên cứu đó có thật hay không.

Các dấu hiệu bao gồm thông tin quan trọng bị thiếu, như chi tiết về phê duyệt đạo đức hoặc nơi thực hiện nghiên cứu, và dữ liệu có vẻ quá tốt để là sự thật. Một ví dụ có thể là nếu số lượng bệnh nhân trong một nghiên cứu vượt quá số người mắc bệnh đó trên toàn quốc.

Phát hiện nghiên cứu yếu kém

Điều quan trọng cần lưu ý là nghiên cứu mới của chúng tôi không có nghĩa là tất cả các nghiên cứu đều không đáng tin.

Đại dịch Covid 19 đã cung cấp những ví dụ về cách đánh giá hệ thống cuối cùng lọc ra các nghiên cứu giả mạo đã được công bố trong tài liệu y khoa và lan truyền bởi phương tiện truyền thông. Đầu đại dịch, khi tốc độ nghiên cứu y học tăng nhanh, các thử nghiệm bệnh nhân mạnh mẽ và được thực hiện tốt – và các đánh giá hệ thống tiếp theo – đã giúp công chúng biết được can thiệp nào hoạt động tốt và can thiệp nào không được khoa học ủng hộ.

Ví dụ, ivermectin, một loại thuốc chống ký sinh trùng thường được sử dụng trong thú y và đã được một số người quảng bá mà không có bằng chứng như là một phương pháp điều trị Covid 19, đã được chấp nhận rộng rãi ở một số nơi trên thế giới. Tuy nhiên, sau khi loại bỏ các nghiên cứu giả mạo hoặc sai sót, một đánh giá hệ thống về nghiên cứu ivermectin kết luận rằng nó không có tác dụng có lợi cho những người mắc Covid 19.

Ngược lại, một đánh giá hệ thống về các loại thuốc corticosteroid như dexamethasone cho thấy rằng các loại thuốc này giúp ngăn ngừa tử vong khi được sử dụng như một phương pháp điều trị Covid 19.

Có những nỗ lực đang được thực hiện trên khắp thế giới để đảm bảo rằng các tiêu chuẩn cao nhất của nghiên cứu y khoa được tuân thủ. Các nhà tài trợ nghiên cứu đang yêu cầu các nhà khoa học công bố tất cả dữ liệu của họ để có thể được kiểm tra kỹ lưỡng, và các tạp chí y khoa công bố các nghiên cứu mới đang bắt đầu sàng lọc dữ liệu nghi ngờ. Nhưng tất cả những ai tham gia vào việc tài trợ, sản xuất và công bố nghiên cứu nên nhận thức rằng dữ liệu và nghiên cứu giả mạo vẫn tồn tại.

Công cụ sàng lọc được đề xuất trong nghiên cứu mới của chúng tôi được thiết kế cho các nhà đánh giá hệ thống của các nghiên cứu khoa học, do đó cần một mức độ chuyên môn nhất định để áp dụng nó. Tuy nhiên, bằng cách sử dụng một số câu hỏi từ công cụ này, cả các nhà nghiên cứu và công chúng đều có thể được trang bị tốt hơn để đọc về những nghiên cứu mới nhất với con mắt tỉnh táo và mang tính phê phán.