Google ได้แก้ไขช่องโหว่ที่ทำให้ผู้ไม่หวังดีสามารถสร้างคำเชิญใน Google Calendar ขึ้นมา เพื่อเข้าควบคุม Gemini agent ที่ทำงานอยู่บนอุปกรณ์ของเป้าหมายจากระยะไกล และอาจทำให้ข้อมูลสำคัญของผู้ใช้รั่วไหลออกไปได้

(more…)

Google Gemini สำหรับ Workspace สามารถถูกนำไปใช้ในการสร้างสรุปอีเมลที่ดูเหมือนปกติทุกอย่างแต่แท้จริงแล้วถูกสอดแทรกไปด้วยคำสั่งที่เป็นอันตราย หรือคำเตือนปลอมเพื่อหลอกให้เหยื่อเข้าถึงเว็บไซต์สำหรับฟิชชิ่งได้โดยไม่ต้องมีการแนบไฟล์ หรือแนบลิงก์โดยตรง

การโจมตีในลักษณะนี้อาศัยเทคนิคการสอดแทรกคำสั่งทางอ้อม (Indirect Prompt Injection) ซึ่งจะถูกซ่อนไว้ในอีเมลโดยที่ Gemini จะดำเนินการทำตามคำสั่งนั้นโดยอัตโนมัติเมื่อมีการสรุปข้อความในอีเมล

วิธีการข้างต้นยังคงสามารถใช้ได้จนถึงปัจจุบัน ถึงแม้ว่าจะมีการรายงานถึงการโจมตีด้วยวิธีการดังกล่าวตั้งแต่ปี 2024 และมีการใช้งานมาตรการเพื่อป้องกันผลลัพธ์ที่ถูกบิดเบือดจนทำให้เข้าใจผิดนี้แล้วก็ตาม

การโจมตีผ่าน Gemini

การโจมตีแบบ Prompt-Injection บนโมเดล Gemini ของ Google ถูกเปิดเผยผ่านโครงการ 0din ซึ่งเป็นโครงการ Bug bounty ของ Mozilla สำหรับเครื่องมือ AI ที่ใช้สร้างเนื้อหา (Generative AI) โดยนักวิจัย Marco Figueroa เป็นผู้จัดการโครงการ Bug bounty ของ Mozilla ดังกล่าว

ขั้นตอนที่เกี่ยวข้องเริ่มตั้งแต่การสร้างอีเมลที่มีคำสั่งลับที่ถูกซ่อนไว้เพื่อป้อนคำสั่งให้กับ Gemini โดยผู้โจมตีสามารถสอดแทรกคำสั่งที่เป็นอันตรายผ่านเนื้อหาในอีเมล ในตอนท้ายของข้อความ ด้วยการปรับแต่งแก้ไขผ่าน HTML และ CSS เพื่อกำหนดขนาดตัวอักษรให้เป็น 0 และเป็น สีขาว

คำสั่งที่เป็นอันตรายนี้จะไม่ถูกแสดงบน Gmail และ ยังมีโอกาสสูงที่จะถูกส่งเข้ากล่องข้อความของเป้าหมายได้สำเร็จ เนื่องจากไม่มีการแนบไฟล์ หรือลิงก์ที่เป็นอันตราย

ซึ่งหากผู้ที่ได้รับอีเมลเปิดอีเมล และใช้งาน Gemini ในการสรุปข้อความบนอีเมลแล้วนั้น เครื่องมือ AI ของ Google นี้จะประมวลผลคำสั่งที่ถูกซ่อนไว้ และดำเนินการตามคำสั่งโดยอัตโนมัติ

ตัวอย่างที่ Figueroa ได้นำเสนอนั้น แสดงให้เห็นว่า Gemini ดำเนินการตามคำสั่งที่ซ่อนอยู่ โดยสร้างข้อความแจ้งเตือนว่ามีการเข้าถึงรหัสผ่านอีเมลของผู้ใช้งานดังกล่าวโดยไม่ได้รับอนุญาตแล้ว ตามด้วยเบอร์ติดต่อเพื่อให้ขอความช่วยเหลือจากทีม support ปลอม

มีผู้ใช้งานจำนวนมากมีแนวโน้มที่จะเชื่อผลลัพธ์ที่ได้จาก Gemini เนื่องจากเป็นฟังก์ชันหนึ่งของ Google Workspace ดังนั้นจึงมีความเป็นไปได้สูงว่าข้อความแจ้งเตือนดังกล่าวจะถูกมองว่าเป็นคำเตือนที่ถูกต้องแทนที่จะมองว่าเป็นส่วนหนึ่งของการโจมตีแบบ Malicious Prompt Injection

Figueroa ได้แนะนำวิธีการตรวจสอบ และแนวทางในการลดความเสียหาย ซึ่งผู้ดูแลด้านความปลอดภัยทางไซเบอร์สามารถนำไปใช้งานเพื่อป้องกันการโจมตีได้ โดยหนึ่งในวิธีการคือการลบ หรือการ ignore ข้อความที่ถูกจัดรูปแบบให้สามารถซ่อนในเนื้อความของอีเมลได้

อีกวิธีการคือการใช้งาน Post-Processing Filter เพื่อตรวจสอบผลลัพธ์ที่เกิดจากการสรุปข้อความของ Gemini โดยแสกนหาข้อความ URLs หรือเบอร์โทรศัพท์ และแจ้งให้ผู้รับอีเมลตรวจสอบเพิ่มเติม

ผู้ใช้งานควรตระหนักด้วยว่าการใช้งานฟังก์ชันการสรุปข้อความของ Gemini ไม่ควรถูกมองว่าเป็นข้อมูลที่สามารถเชื่อถือได้อย่างสมบูรณ์ เมื่อมีความเกี่ยวข้องกับการแจ้งเตือนด้านความปลอดภัยทางไซเบอร์

BleepingComputer ได้ติดต่อไปทาง Google เพื่อสอบถามถึงมาตรการ และแนวทางในการป้องกัน หรือลดความเสี่ยงจากการโจมตีในลักษณะนี้ โดยทางโฆษกของ Google ได้ให้ทาง BleepingComputer ศึกษาข้อมูลเพิ่มเติมจาก Blog Post ด้านมาตรการความปลอดภัยเพื่อป้องกันการโจมตีด้วยวิธีการ Prompt Injection รูปแบบต่าง ๆ

และทางโฆษกยังระบุว่า "เรามีการดำเนินการเสริมความแข็งแรงในมาตรการการป้องกันอยู่แล้วอย่างต่อเนื่อง ผ่านการทดสอบจาก Red-teaming เพื่อฝึกให้โมเดลของเราสามารถป้องกันการโจมตีที่เป็นอันตรายเหล่านี้ได้ "

ตัวแทนของบริษัทได้อธิบายเพิ่มเติมกับทาง BleepingComputer ว่า มาตรการลดความเสี่ยง หรือความเสียหายบางส่วนอยู่ระหว่างดำเนินการติดตั้ง หรือใกล้จะเริ่มใช้งานแล้ว

โฆษกของ Google ได้ระบุเพิ่มเติมว่า ไม่พบหลักฐานที่บ่งชี้ว่ามีการใช้งาน Gemini จนเกิดความเสียหาย หรือส่งผลกระทบตามที่ได้มีการสาธิตบนรายงานของ Figueroa

 

ที่มา: bleepingcomputer.