นัยสำคัญทางสถิติไม่ได้มีนัยสำคัญทางสถิติเสมอไปเป็นเรื่องปกติที่จะทดสอบประสิทธิภาพ (หรืออันตราย) ของยาโดยเปรียบเทียบกับยาหลอกหรือการรักษาหลอกลวงที่ไม่ควรมีผลเลย เมื่อใช้วิธีการทางสถิติเพื่อเปรียบเทียบผลลัพธ์ นักวิจัยพยายามตัดสินว่าผลของการรักษาที่แท้จริงนั้นมากกว่าการรักษาปลอมด้วยจำนวนที่ไม่น่าจะเกิดขึ้นโดยบังเอิญหรือไม่ตามแบบแผน ผลลัพธ์ที่คาดว่าจะเกิดขึ้นน้อยกว่า 5 เปอร์เซ็นต์ของเวลานั้นถือว่า “มีนัยสำคัญทางสถิติ” ดังนั้น หากยา X มีประสิทธิภาพดีกว่ายาหลอกในปริมาณที่คาดไว้โดยบังเอิญเพียง 4 เปอร์เซ็นต์ของเวลาทั้งหมด นักวิจัยส่วนใหญ่จะสรุปว่ายา X ได้ผลจริง (หรืออย่างน้อยก็มีหลักฐานสนับสนุนข้อสรุปว่ามันได้ผล)
ตอนนี้ สมมติว่ายา Y มีประสิทธิภาพดีกว่ายาหลอกเช่นกัน
แต่ด้วยจำนวนที่คาดว่าจะเกิดขึ้นโดยบังเอิญคือ 6 เปอร์เซ็นต์ของเวลาทั้งหมด ในกรณีนั้น การวิเคราะห์ทั่วไปจะบอกว่าผลกระทบดังกล่าวไม่มีนัยสำคัญทางสถิติและมีหลักฐานไม่เพียงพอที่จะสรุปได้ว่ายา Y ได้ผล
หากยาทั้งสองถูกทดสอบในโรคเดียวกัน ปริศนาก็เกิดขึ้น แม้ว่ายา X จะทำงานในระดับที่มีนัยสำคัญทางสถิติและยา Y ไม่ได้ผล ความแตกต่างระหว่างประสิทธิภาพของยา A และยา B อาจไม่มีนัยสำคัญทางสถิติ หากพวกเขาได้รับการทดสอบเปรียบเทียบกัน แทนที่จะแยกเทียบกับยาหลอก อาจไม่มีหลักฐานทางสถิติที่บ่งชี้ว่าสิ่งหนึ่งดีกว่าอีกสิ่งหนึ่ง (แม้ว่าอัตราการรักษาของพวกเขาจะเท่ากันกับการทดสอบที่แยกกันก็ตาม)
“การเปรียบเทียบประเภท ‘ Xมีนัยสำคัญทางสถิติ แต่Yไม่ใช่’ อาจทำให้เข้าใจผิดได้” นักสถิติ Andrew Gelman จากมหาวิทยาลัยโคลัมเบียและ Hal Stern จาก University of California, Irvine ตั้งข้อสังเกตในบทความที่กล่าวถึงปัญหานี้ในปี 2549 ในนักสถิติชาวอเมริกัน . “นักเรียนและผู้ปฏิบัติงาน [ควร] ตระหนักให้มากขึ้นว่าความแตกต่างระหว่าง ‘สำคัญ’ และ ‘ไม่สำคัญ’ นั้นไม่มีนัยสำคัญทางสถิติ”
ตัวอย่างในชีวิตจริงที่คล้ายคลึงกันนี้เกิดขึ้นในการศึกษา
ที่บอกว่าเด็กและวัยรุ่นที่รับประทานยากล่อมประสาทมีความเสี่ยงที่จะคิดหรือพฤติกรรมฆ่าตัวตายมากขึ้น การศึกษาดังกล่าวส่วนใหญ่ไม่ได้แสดงว่าความเสี่ยงดังกล่าวเพิ่มขึ้นอย่างมีนัยสำคัญทางสถิติ แต่บางการศึกษามีพฤติกรรมฆ่าตัวตายเล็กน้อย (อาจเนื่องมาจากโอกาส) ในกลุ่มที่ได้รับยามากกว่ายาหลอก ตัวอย่างหนึ่งของการศึกษาดังกล่าว พบว่าเมื่อใช้ยา Paxil ยากล่อมประสาท การทดลองบันทึกอัตราการฆ่าตัวตายมากกว่าสองเท่าสำหรับผู้เข้าร่วมที่ได้รับยาเมื่อเทียบกับผู้ที่ได้รับยาหลอก สำหรับยากล่อมประสาทอีกชนิดหนึ่งคือ Prozac การทดลองพบว่ามีเหตุการณ์ฆ่าตัวตายด้วยยาน้อยกว่ายาหลอก ดังนั้นดูเหมือนว่า Paxil อาจอันตรายกว่า Prozac
แต่จริงๆ แล้ว อัตราการฆ่าตัวตายของ Prozac นั้นสูงกว่า Paxil ข้อได้เปรียบด้านความปลอดภัยที่เห็นได้ชัดของ Prozac ไม่ได้เกิดจากพฤติกรรมของเด็กที่ใช้ยา แต่สำหรับเด็กที่ได้รับยาหลอก ในการทดลอง Paxil เด็กที่ได้รับยาหลอกรายงานเหตุการณ์น้อยกว่าเด็กที่ได้รับยาหลอกในการทดลอง Prozac ดังนั้นหลักฐานเดิมที่แสดงสัญญาณอันตรายที่อาจเกิดขึ้นจาก Paxil แต่ไม่ใช่จาก Prozac จึงอิงจากข้อมูลจากคนในกลุ่มยาหลอกสองกลุ่ม ซึ่งไม่มีใครได้รับยาอย่างใดอย่างหนึ่ง ด้วยเหตุนี้ การใช้ผลลัพธ์ที่มีนัยสำคัญทางสถิติเพียงอย่างเดียวอาจทำให้เข้าใจผิดได้เมื่อเปรียบเทียบประโยชน์ (หรืออันตราย) ของยาสองชนิด
แนะนำ : ข่าวดารา | กัญชา | เกมส์มือถือ | เกมส์ฟีฟาย | สัตว์เลี้ยง
