EP.2 — ทำไม AI จึงตอบผิดอย่างมั่นใจ?

Hallucination คืออะไร?

ในบริบทของ Generative AI คำว่า Hallucination หมายถึงคำตอบที่ดูน่าเชื่อถือ แต่มีข้อมูลผิด ไม่มีหลักฐานรองรับ หรือสร้างรายละเอียดที่ไม่เคยมีอยู่จริง

OpenAI อธิบาย Hallucination ว่าเป็นข้อความที่ดูสมเหตุสมผลแต่เป็นเท็จ และอาจเกิดขึ้นได้แม้กับคำถามที่ดูตรงไปตรงมา เช่น ชื่อวิทยานิพนธ์ วันเกิด หรือรายละเอียดเฉพาะของบุคคล

NIST ใช้คำว่า Confabulation เพื่ออธิบายปรากฏการณ์ที่ระบบ Generative AI สร้างเนื้อหาซึ่งผิดพลาดหรือไม่สอดคล้องกับข้อเท็จจริง แต่ถูกนำเสนอในลักษณะที่ฟังดูมั่นใจและเป็นระบบ

Hallucination จึงอาจปรากฏในหลายรูปแบบ เช่น

• สร้างชื่อหนังสือหรืองานวิจัยที่ไม่มีอยู่จริง
• อ้างคำพูดที่บุคคลนั้นไม่เคยกล่าว
• สร้างตัวเลข วันที่ หรือชื่อหน่วยงานผิด
• สรุปเอกสารเกินกว่าสิ่งที่เอกสารระบุ
• นำข้อมูลจริงหลายส่วนมารวมกันจนกลายเป็นข้อสรุปที่ผิด
• ให้แหล่งอ้างอิงที่ดูเหมือนจริง แต่เปิดไม่ได้หรือไม่รองรับข้อความนั้น

Hallucination คืออะไร?

สิ่งที่ทำให้ Hallucination อันตราย ไม่ใช่แค่ความผิดพลาด แต่คือ ความผิดพลาดที่ถูกเขียนด้วยภาษาของความมั่นใจ

ทำไม AI ไม่พูดว่า “ฉันไม่รู้”?

ลองย้อนกลับไปที่หลักการใน EP.1

โมเดลภาษาได้รับการฝึกให้คาดการณ์ว่า Token ใดควรตามมา จากบริบทที่ผู้ใช้ป้อนเข้าไป

เมื่อเราให้คำถามหนึ่ง ระบบจึงพยายามสร้างคำตอบที่มีรูปแบบเหมาะสมกับคำถามนั้น

หากถามชื่อหนังสือ คำตอบก็มักมีชื่อหนังสือ หากถามปีที่เกิดเหตุการณ์ คำตอบก็มักมีตัวเลขปี หากขอแหล่งอ้างอิง คำตอบก็มักพยายามสร้างรูปแบบของการอ้างอิง

ปัญหาคือ ระบบอาจรู้ว่า คำตอบควรมีหน้าตาอย่างไร แต่ไม่ได้มีข้อเท็จจริงที่ถูกต้องเพียงพอสำหรับเติมลงไป

OpenAI เสนอว่า หนึ่งในสาเหตุสำคัญคือกระบวนการฝึกและการประเมินแบบทั่วไปมักให้รางวัลกับการ “ตอบให้ถูก” แต่ไม่ได้ให้คุณค่ามากพอกับการยอมรับว่าไม่แน่ใจ จึงอาจทำให้โมเดลเลือกเดาแทนที่จะงดตอบ

Anthropic ก็อธิบายคล้ายกันว่า การฝึกโมเดลภาษาในระดับพื้นฐานกระตุ้นให้โมเดลต้องคาดเดาคำถัดไปอยู่เสมอ จึงมีแรงผลักให้สร้างคำตอบต่อ แม้ข้อมูลภายในอาจไม่เพียงพอ

เปรียบเทียบง่าย ๆ เหมือนข้อสอบที่บังคับให้ผู้เข้าสอบตอบทุกข้อ และให้คะแนนเฉพาะข้อที่ตอบถูก

ในสถานการณ์เช่นนี้ คนที่ไม่รู้คำตอบอาจเลือกเดา เพราะการเว้นว่างไม่มีโอกาสได้คะแนน

AI ก็อาจมีพฤติกรรมคล้ายกันในเชิงระบบ แม้มันจะไม่ได้รู้สึกกดดันหรืออยากได้คะแนนเหมือนมนุษย์ก็ตาม

AI ไม่ได้มี “เครื่องตรวจความจริง” อยู่ภายในเสมอไป

เวลามนุษย์ตอบคำถาม เราอาจใช้หลายวิธีประกอบกัน

• จำจากประสบการณ์
• เปิดหนังสือ
• ค้นฐานข้อมูล
• โทรถามผู้เชี่ยวชาญ
• ย้อนกลับไปดูเอกสารต้นฉบับ
• หรือยอมรับว่าไม่แน่ใจ

AI ไม่ได้มี “เครื่องตรวจความจริง” อยู่ภายในเสมอไป

แต่โมเดลภาษาที่ทำงานโดยลำพัง อาจสร้างคำตอบจากรูปแบบที่เรียนรู้มา โดยไม่ได้เปิดแหล่งข้อมูลภายนอกเพื่อตรวจสอบทุกประโยค

ดังนั้น “สิ่งที่โมเดลจำได้” จึงไม่เหมือนฐานข้อมูลที่เก็บข้อเท็จจริงเป็นช่อง ๆ อย่างชัดเจน

ข้อมูลจำนวนมากถูกฝังอยู่ในค่าน้ำหนักของโมเดลในรูปแบบความสัมพันธ์ทางสถิติ เมื่อเรียกใช้งาน ระบบจึงไม่ได้เปิดแฟ้มแล้วหยิบข้อเท็จจริงออกมาตรง ๆ แต่สร้างคำตอบขึ้นใหม่จากบริบทและรูปแบบที่เรียนรู้มา

งานสำรวจด้าน Factuality ของโมเดลภาษาชี้ว่า คำตอบที่คลาดเคลื่อนอาจเกิดจากหลายปัจจัย ทั้งข้อมูลฝึก ความรู้ที่ไม่ครบ ความรู้ล้าสมัย กลไกการเรียกคืนข้อมูล และการสร้างข้อความในขั้นตอนตอบคำถาม

นั่นหมายความว่า แม้โมเดลจะเคยเห็นข้อมูลที่ถูกต้องระหว่างการฝึก ก็ไม่ได้รับประกันว่าจะนำข้อมูลนั้นออกมาได้ถูกต้องทุกครั้ง

ทำไมคำตอบผิดจึงฟังดูเป็นมืออาชีพ?

เพราะความสามารถด้านภาษาและความสามารถด้านข้อเท็จจริงเป็นคนละเรื่องกัน

AI อาจเขียนได้ดีมากในเรื่องต่อไปนี้

• การเรียงประโยค
• การใช้ศัพท์เฉพาะ
• การแบ่งหัวข้อ
• การสร้างเหตุผลต่อเนื่อง
• การใช้โทนทางวิชาการ
• การทำรายการอ้างอิงให้ดูเป็นมาตรฐาน

ทำไมคำตอบผิดจึงฟังดูเป็นมืออาชีพ?

แต่สิ่งเหล่านี้สะท้อน ความคล่องทางภาษา ไม่ได้ยืนยัน ความถูกต้องของข้อมูล

ลองนึกถึงคนที่พูดคล่อง แต่มองข้อมูลผิด

น้ำเสียงที่หนักแน่นไม่ได้ทำให้ข้อมูลถูกขึ้น เครื่องหมายคำพูดไม่ได้พิสูจน์ว่ามีคนพูดจริง ชื่อวารสารที่ฟังดูน่าเชื่อถือไม่ได้แปลว่าบทความนั้นมีอยู่ และลิงก์ที่มีรูปแบบเหมือนเว็บไซต์จริงก็อาจนำไปสู่หน้าที่ไม่มีอยู่

นี่คือเหตุผลที่มนุษย์มักถูกหลอกได้ง่าย

เพราะสมองของเรามักใช้ “รูปแบบการนำเสนอ” เป็นทางลัดในการประเมินความน่าเชื่อถือ

เมื่อคำตอบเป็นระเบียบ ใช้ศัพท์ถูก และอธิบายอย่างมั่นใจ เราจึงมีแนวโน้มลดการตรวจสอบลง

Hallucination ไม่ได้มีเพียงแบบ “แต่งเรื่องทั้งหมด”

บางครั้ง AI ไม่ได้สร้างข้อมูลผิดขึ้นมาทั้งหมด แต่สร้างความผิดพลาดจากส่วนผสมของข้อมูลจริง

ตัวอย่างเช่น

บริษัทหนึ่งมีอยู่จริง ผู้บริหารคนนั้นมีอยู่จริง งานประชุมก็เกิดขึ้นจริง

แต่ AI อาจนำทั้งสามอย่างมารวมกัน แล้วสร้างข้อสรุปว่าผู้บริหารคนนั้นกล่าวบางอย่างในงานประชุมนั้น ทั้งที่ไม่มีหลักฐาน

Hallucination ลักษณะนี้ตรวจจับยากกว่าข้อมูลปลอมทั้งชิ้น เพราะรายละเอียดส่วนใหญ่ดูคุ้นเคยและตรวจพบว่า “มีอยู่จริง”

งานสำรวจเกี่ยวกับ Hallucination ใน LLM แบ่งความผิดพลาดออกได้หลายประเภท เช่น เนื้อหาที่ขัดกับข้อมูลต้นทาง เนื้อหาที่ไม่สามารถตรวจสอบจากโลกจริง และข้อสรุปที่ถูกสร้างเกินจากบริบทที่ให้มา

จึงอาจกล่าวได้ว่า Hallucination ไม่ได้หมายถึงการแต่งนิยายเสมอไป

บางครั้งมันคือการนำชิ้นส่วนของความจริงมาต่อผิดตำแหน่ง

ตัวอย่างใกล้ตัว: AI สรุปเอกสารที่เราไม่ได้ส่งให้ครบ

สมมติว่าคุณส่งสัญญาให้ AI เพียง 8 หน้า แต่สัญญาฉบับเต็มมี 20 หน้า

จากนั้นถามว่า

“ในสัญญานี้มีข้อกำหนดเรื่องค่าปรับหรือไม่?”

หากข้อมูลที่ได้รับไม่ครบ ระบบที่ระมัดระวังควรตอบว่า

“จากเอกสาร 8 หน้าที่ได้รับ ยังไม่พบข้อกำหนดเรื่องค่าปรับ แต่ไม่สามารถยืนยันเอกสารทั้งฉบับได้”

แต่ระบบอาจตอบว่า

“สัญญานี้ไม่มีข้อกำหนดเรื่องค่าปรับ”

สองประโยคนี้ต่างกันมาก

ประโยคแรกพูดตามขอบเขตของหลักฐาน ประโยคที่สองสรุปเกินกว่าหลักฐานที่มี

แม้จะไม่ได้สร้างชื่อหรือวันที่ปลอม แต่ก็ยังถือเป็นความเสี่ยงด้าน Hallucination หรือการสรุปที่ไม่มีฐานรองรับเพียงพอ

นี่คือเหตุผลที่เวลาทำงานกับเอกสาร เราต้องแยกคำว่า

• ไม่พบในข้อมูลที่ให้มา
• ออกจาก
• ไม่มีอยู่จริง

ตัวอย่างใกล้ตัว: AI สรุปเอกสารที่เราไม่ได้ส่งให้ครบ

เพราะสองอย่างนี้ไม่ใช่ความหมายเดียวกัน

การเชื่อม AI กับแหล่งข้อมูล ช่วยได้หรือไม่?

ช่วยได้ แต่ไม่ได้ทำให้ความผิดพลาดหายไปทั้งหมด

วิธีหนึ่งที่นิยมใช้คือ Retrieval-Augmented Generation หรือ RAG

แทนที่จะให้โมเดลตอบจากความรู้ที่ฝังอยู่ภายในเพียงอย่างเดียว ระบบจะค้นข้อมูลจากเอกสาร ฐานข้อมูล หรือแหล่งที่กำหนด แล้วส่งข้อมูลเหล่านั้นให้โมเดลใช้ประกอบคำตอบ

แนวทางนี้ช่วยให้คำตอบ

• อ้างอิงข้อมูลล่าสุดได้มากขึ้น
• จำกัดขอบเขตตามเอกสารขององค์กร
• แสดงหลักฐานให้ผู้ใช้ตรวจสอบ
• ลดการพึ่งพาความจำภายในของโมเดล

การเชื่อม AI กับแหล่งข้อมูล ช่วยได้หรือไม่?

อย่างไรก็ตาม RAG ก็ยังผิดพลาดได้ หากระบบค้นเอกสารผิด ดึงข้อความไม่ครบ ใช้แหล่งที่ไม่น่าเชื่อถือ หรือโมเดลสรุปเกินกว่าข้อมูลที่ค้นพบ งานสำรวจด้าน Factuality จึงเน้นว่าระบบที่มี Retrieval ยังต้องได้รับการประเมินทั้งส่วนค้นหาและส่วนสร้างคำตอบ

ดังนั้นคำว่า “AI เชื่อมอินเทอร์เน็ตแล้ว” ไม่ได้แปลว่า “ทุกคำตอบถูกต้องแล้ว”

เครื่องมือค้นหาช่วยให้ AI มีหลักฐาน แต่มนุษย์ยังต้องดูว่าหลักฐานนั้นเกี่ยวข้องและรองรับข้อสรุปจริงหรือไม่

7 วิธีแยกคำตอบที่ “ดูน่าเชื่อ” ออกจากคำตอบที่ “ตรวจสอบแล้วว่าเชื่อได้”

1. แยกข้อเท็จจริงออกจากคำอธิบาย

ขีดเส้นใต้สิ่งที่ตรวจสอบได้ เช่น

• ชื่อบุคคล
• ชื่อองค์กร
• วันที่
• ตัวเลข
• คำพูด
• ชื่อกฎหมาย
• ชื่องานวิจัย
• สถิติ

1. แยกข้อเท็จจริงออกจากคำอธิบาย

ข้อมูลเหล่านี้ควรถูกตรวจสอบแยกจากภาษาวิเคราะห์หรือความคิดเห็น

2. ขอแหล่งต้นทาง ไม่ใช่เพียงรายการอ้างอิง

อย่าหยุดที่ประโยคว่า “มีแหล่งอ้างอิง”

ให้เปิดดูว่าแหล่งนั้น

• มีอยู่จริงหรือไม่
• เป็นแหล่งต้นทางหรือไม่
• เผยแพร่เมื่อใด
• รองรับข้อความที่ AI อ้างจริงหรือไม่
• เป็นข่าวเก่าที่สถานการณ์เปลี่ยนแล้วหรือไม่

2. ขอแหล่งต้นทาง ไม่ใช่เพียงรายการอ้างอิง

ลิงก์ที่เปิดได้ ยังไม่ได้แปลว่าเนื้อหาในลิงก์สนับสนุนคำตอบนั้น

3. มองหาคำที่แสดงขอบเขตและความไม่แน่นอน

คำตอบที่น่าเชื่อถือควรแยกระหว่าง

• ยืนยันได้
• มีรายงานว่า
• มีแนวโน้ม
• เป็นข้อสันนิษฐาน
• ยังไม่มีหลักฐานเพียงพอ
• ไม่พบข้อมูลในแหล่งที่ตรวจสอบ

3. มองหาคำที่แสดงขอบเขตและความไม่แน่นอน

หากเรื่องซับซ้อนมาก แต่ AI ตอบอย่างเด็ดขาดโดยไม่มีเงื่อนไข ควรเพิ่มความระมัดระวัง

4. ถาม AI ว่า “ส่วนไหนที่คุณไม่แน่ใจ?”

คำถามนี้ไม่รับประกันว่า AI จะประเมินตัวเองได้ถูกต้องทั้งหมด แต่ช่วยให้ระบบเปลี่ยนจากโหมดตอบทันทีไปสู่การทบทวนข้อจำกัด

อาจใช้คำสั่งว่า

แยกคำตอบเป็น 3 ส่วน ได้แก่

• ข้อมูลที่ยืนยันได้
• ข้อมูลที่เป็นการอนุมาน
• ข้อมูลที่ยังต้องตรวจสอบเพิ่มเติม

5. ให้ AI ตอบจากเอกสารที่กำหนดเท่านั้น

ตัวอย่างคำสั่ง:

ตอบโดยใช้เฉพาะข้อมูลจากเอกสารที่แนบ หากไม่พบข้อมูล ให้ตอบว่า “ไม่พบในเอกสาร” ห้ามเติมข้อมูลจากความรู้ภายนอก พร้อมระบุหน้าและข้อความที่ใช้อ้างอิง

วิธีนี้ช่วยลดการสร้างข้อมูลนอกขอบเขต แต่ยังต้องตรวจว่าเลขหน้าและข้อความอ้างอิงถูกต้องหรือไม่

Anthropic แนะนำแนวทางลด Hallucination เช่น อนุญาตให้โมเดลตอบว่าไม่รู้ ขอหลักฐานจากคำตอบ และจำกัดคำตอบให้อยู่กับแหล่งข้อมูลที่ได้รับ

6. ตรวจซ้ำกับแหล่งอิสระอย่างน้อยสองแห่ง

โดยเฉพาะข่าว สุขภาพ กฎหมาย การเงิน และข้อมูลบุคคล

แหล่งที่สองไม่ควรเป็นเว็บไซต์ที่คัดลอกมาจากแหล่งแรก เพราะอาจเป็นการขยายข้อมูลผิดชุดเดียวกัน

7. เพิ่มระดับการตรวจสอบตามผลกระทบ

ไม่ใช่ทุกคำตอบต้องตรวจสอบเท่ากัน

หากให้ AI ช่วยตั้งชื่อหัวข้อ อาจไม่ต้องเข้มงวดมาก แต่หากใช้ AI ร่างคำแนะนำทางการแพทย์ ตรวจสัญญา ประเมินเครดิต หรือเขียนข่าวที่กระทบชื่อเสียงบุคคล ต้องใช้มาตรฐานสูงขึ้น

หลักง่าย ๆ คือ

ยิ่งคำตอบมีผลต่อเงิน สุขภาพ สิทธิ หรือชื่อเสียงมากเท่าไร ยิ่งต้องพึ่งหลักฐานและมนุษย์ตรวจสอบมากขึ้นเท่านั้น

Prompt สำหรับลดความเสี่ยง Hallucination

สามารถนำโครงสร้างนี้ไปใช้ได้:

ตอบคำถามโดยแยกข้อเท็จจริงออกจากการวิเคราะห์อย่างชัดเจน ใช้เฉพาะข้อมูลที่ตรวจสอบได้ ระบุแหล่งอ้างอิงต้นทางสำหรับชื่อ วันที่ ตัวเลข และคำกล่าว หากข้อมูลไม่เพียงพอ ให้บอกว่าไม่ทราบหรือยังยืนยันไม่ได้ ห้ามสร้างชื่อบุคคล งานวิจัย เอกสาร หรือลิงก์ขึ้นเอง ก่อนสรุป ให้ตรวจว่าทุกแหล่งอ้างอิงรองรับข้อความที่กล่าวถึงจริง

Prompt นี้ช่วยลดความเสี่ยงได้ แต่ไม่สามารถรับประกันความถูกต้อง 100%

เพราะ Prompt เป็นเพียงคำแนะนำให้โมเดลทำงานอย่างระมัดระวังขึ้น ไม่ใช่ระบบตรวจข้อเท็จจริงที่เป็นอิสระ

หลักคิดจาก Lookkidd

AI ที่พูดอย่างมั่นใจ ไม่ได้หมายความว่ามีหลักฐานอย่างมั่นคง

Hallucination ไม่ได้เกิดเพราะ AI ต้องการหลอกเรา

มันเกิดเพราะระบบได้รับการออกแบบให้สร้างคำตอบที่สอดคล้องกับบริบท และบางครั้ง “ความสอดคล้องทางภาษา” ก็เกิดขึ้นได้โดยไม่มี “ความถูกต้องทางข้อเท็จจริง”

ดังนั้นสิ่งสำคัญไม่ใช่การถามว่า

“AI มั่นใจแค่ไหน?”

แต่ควรถามว่า

“คำตอบนี้ยืนอยู่บนหลักฐานอะไร?”

มนุษย์ไม่ควรทำหน้าที่เพียงตรวจคำผิดในสิ่งที่ AI สร้าง

แต่ต้องตรวจว่า

• ข้อมูลมีอยู่จริงหรือไม่
• ข้อสรุปเกินหลักฐานหรือไม่
• แหล่งอ้างอิงน่าเชื่อถือหรือไม่
• และคำตอบนี้เหมาะจะนำไปใช้ตัดสินใจหรือยัง

หลักคิดจาก Lookkidd

เพราะในโลกที่ AI สามารถสร้างคำตอบได้รวดเร็วมากขึ้น

ทักษะที่มีค่าที่สุดอาจไม่ใช่ความสามารถในการได้คำตอบเร็วที่สุด

แต่คือความสามารถในการรู้ว่า คำตอบใดควรเชื่อ และคำตอบใดยังต้องตรวจสอบ

คำถามชวนคิดท้ายตอน

คุณเคยนำคำตอบจาก AI ไปใช้ เพราะเห็นว่ามีแหล่งอ้างอิงแนบมา โดยยังไม่ได้เปิดตรวจสอบ หรือไม่?

และหากวันหนึ่ง AI ตอบผิด แต่คุณเป็นผู้กดเผยแพร่ข้อมูลนั้น

ใครควรเป็นผู้รับผิดชอบต่อความผิดพลาด?