การค้นพบโครงข่ายประสาทเทียมไร้น้ำหนักและวิวัฒนาการของการเรียนรู้เชิงลึก

  • การเรียนรู้เชิงลึกใช้สถาปัตยกรรมหลายชั้นในการประมวลผลข้อมูลที่ซับซ้อนโดยใช้ค่าน้ำหนักและฟังก์ชันการกระตุ้น
  • โครงข่ายประสาทเทียมไร้น้ำหนักแทนที่การคูณทางคณิตศาสตร์ที่มีค่าใช้จ่ายสูงด้วยตารางค้นหาแบบไบนารี
  • สถาปัตยกรรมใหม่นี้ช่วยลดการใช้พลังงานและขนาดของโมเดลสำหรับอุปกรณ์ปลายทางได้อย่างมาก

ระบบเครือข่ายประสาทเทียม

หากคุณเคยสงสัยว่าเครื่องจักรสามารถจดจำใบหน้าของคุณหรือเข้าใจสิ่งที่คุณพูดได้อย่างไร คำตอบนั้นอยู่ที่ความน่าทึ่งของสมองมนุษย์ โครงสร้างทางชีวภาพเหล่านี้ประกอบด้วย เซลล์ประสาทที่เชื่อมต่อกันซึ่งส่งสัญญาณไฟฟ้าสิ่งเหล่านี้ได้ทำหน้าที่เป็นแบบแผนในการสร้างสิ่งที่เราเรียกว่าโครงข่ายประสาทเทียมในปัจจุบัน ซึ่งโดยพื้นฐานแล้วคืออัลกอริทึมที่ออกแบบมาเพื่อแก้ปริศนาทางคณิตศาสตร์ที่ซับซ้อน

ในโลกปัจจุบัน เราคุ้นเคยกับการที่ปัญญาประดิษฐ์มีความหมายเหมือนกับซูเปอร์คอมพิวเตอร์และการใช้พลังงานมหาศาล อย่างไรก็ตาม แนวโน้มที่น่าสนใจอย่างยิ่งกำลังเกิดขึ้น ซึ่งมุ่งเน้นไปที่... เพิ่มประสิทธิภาพการใช้พลังงานตั้งคำถามว่าเราจำเป็นต้องประมวลผลการคูณนับล้านครั้งเพื่อให้ได้คำตอบง่ายๆ จริงๆ หรือไม่ ซึ่งเป็นการเลียนแบบความประหยัดพลังงานของสมองเราเอง

การคำนวณแบบอนาล็อก
บทความที่เกี่ยวข้อง:
การประมวลผลแบบอนาล็อกในหน่วยความจำ: การเดิมพันเพื่อลดการใช้พลังงานของ AI

สถาปัตยกรรมคลาสสิก: จากเพอร์เซปตรอนสู่การเรียนรู้เชิงลึก

เพื่อให้เข้าใจว่าเรากำลังจะไปที่ไหน เราจำเป็นต้องรู้ว่าเรามาจากไหน โดยทั่วไปแล้วโครงข่ายประสาทเทียมพื้นฐานจะจัดเรียงเป็นสามระดับ ทุกอย่างเริ่มต้นที่... ชั้นอินพุตนี่คือจุดที่ระบบรับข้อมูลจากภายนอก วิเคราะห์ และส่งต่อไปยังส่วนถัดไป จากนั้นก็จะเป็น... ชั้นที่ซ่อนอยู่ซึ่งอาจมีเพียงหนึ่งเดียวหรือหลายสิบรายการก็ได้ นี่คือจุดที่กระบวนการประมวลผลที่แท้จริงเกิดขึ้น โดยการปรับปรุงข้อมูลในแต่ละขั้นตอน

ในที่สุด เราก็มาถึง ชั้นเอาต์พุตซึ่งทำให้เราได้ข้อสรุปสุดท้าย ขึ้นอยู่กับสิ่งที่เรากำลังมองหา เราอาจมีโหนดเดียวสำหรับคำตอบใช่หรือไม่ใช่ (การจำแนกแบบไบนารี) หรือหลายโหนดหากปัญหาซับซ้อนกว่าและต้องเลือกจากหลายหมวดหมู่

เมื่อเราพูดถึง การเรียนรู้เชิงลึกเรากำลังพูดถึงเครือข่ายที่มีเลเยอร์ซ่อนอยู่มากมายและมีการเชื่อมต่อหลายล้านจุด ในแบบจำลองนี้ ความสัมพันธ์ระหว่างเซลล์ประสาทถูกกำหนดโดย ค่าตัวเลขที่เรียกว่าน้ำหนักปัญหาคือเครือข่ายเหล่านี้ใช้ข้อมูลและพลังงานจำนวนมาก ต้องใช้ตัวอย่างนับล้านเพื่อหลีกเลี่ยงข้อผิดพลาด

AIoT
บทความที่เกี่ยวข้อง:
AIoT: คืออะไร และแตกต่างจาก IoT ทั่วไปอย่างไร

หัวใจสำคัญของการฝึกฝน: การส่งต่อข้อมูลไปข้างหน้าและการส่งต่อข้อมูลย้อนกลับ

เพื่อให้เครือข่ายเรียนรู้ได้ มันต้องลองเดาดูก่อน กระบวนการนี้... การขยายพันธุ์ไปข้างหน้า โดยพื้นฐานแล้วมันคือการเดินทางจากซ้ายไปขวา: ข้อมูลเข้ามา คูณด้วยค่าน้ำหนัก เพิ่มค่าปรับที่เรียกว่าไบแอส และผ่านฟังก์ชันการกระตุ้น (เช่น Sigmoid หรือ ReLu) เพื่อตัดสินว่าเซลล์ประสาทจะ "ทำงาน" หรือไม่

แต่เนื่องจากเครือข่ายไม่รู้อะไรเลยในตอนเริ่มต้น มันจึงจะล้มเหลวอย่างสิ้นเชิง นี่คือจุดที่... การขยายพันธุ์หลังซึ่งเป็นจุดที่ความมหัศจรรย์เกิดขึ้น อัลกอริทึมจะเดินทางจากขวาไปซ้าย โดยคำนวณค่าความคลาดเคลื่อนระหว่างผลลัพธ์ที่ได้กับผลลัพธ์ที่แท้จริง โดยใช้ อนุพันธ์ทางคณิตศาสตร์เครือข่ายจะปรับน้ำหนักเพื่อลดข้อผิดพลาดนั้นให้เหลือน้อยที่สุดในรอบถัดไป

รายละเอียดสำคัญในกระบวนการนี้คือ อัตราการเรียนรู้ถ้าค่าสูงเกินไป เครือข่ายจะเรียนรู้ได้เร็วแต่ไม่แม่นยำ ในทางกลับกัน ถ้าค่าต่ำเกินไป กระบวนการก็จะไม่มีที่สิ้นสุด เป้าหมายสูงสุดคือการหาค่าต่ำสุดของฟังก์ชันต้นทุน เพื่อให้เครือข่ายสามารถสรุปข้อมูลได้อย่างถูกต้อง

การปฏิวัติของเครือข่ายประสาทไร้น้ำหนัก

ตรงนี้แหละที่น่าตื่นเต้น ศาสตราจารย์ลิซี่ เค. จอห์นและทีมงานของเธอ กำลังแหกกฎด้วยการเสนอแนวทางใหม่ เครือข่ายประสาทไร้น้ำหนักในขณะที่ AI แบบดั้งเดิมอาศัยการคำนวณคูณหลายพันล้านครั้ง (ซึ่งเป็นกระบวนการที่ใช้ทรัพยากรฮาร์ดแวร์สูงมาก) วิธีการนี้ใช้... ตารางค้นหาที่เชื่อมต่อกัน.

แทนที่จะคำนวณเลขคณิตที่ซับซ้อน เครือข่ายจะตรวจสอบคำตอบที่จัดเก็บไว้โดยอิงจากข้อมูลไบนารี ระบบนี้คล้ายคลึงกับวิธีการคิดของมนุษย์มากกว่า เราไม่ได้คูณตัวเลขในหัวเพื่อตัดสินใจว่าจะเดินซ้ายหรือขวา แต่เราใช้วิธีอื่น เราประมวลผลสัญญาณการกระตุ้น.

Raspberry Pi AI HAT+ 2
บทความที่เกี่ยวข้อง:
Raspberry Pi AI HAT+ 2: เดิมพันครั้งใหม่ที่จะนำ AI แบบสร้างสรรค์ไปสู่ระดับอุปกรณ์ปลายทาง

ผลลัพธ์ที่ได้นั้นน่าทึ่งมาก ในงานต่างๆ เช่น การตรวจสอบทางการแพทย์ (ECG หรือ EEG) หรือการจดจำคำหลัก เครือข่ายเหล่านี้สามารถ... เล็กกว่าและมีประสิทธิภาพมากกว่าถึงพันเท่าลองนึกภาพการเปลี่ยนจากรุ่น 17 เมกะไบต์ไปเป็นรุ่นเพียง 14 กิโลไบต์ สิ่งนี้ทำให้ AI สามารถทำงานได้โดยตรงภายในเซ็นเซอร์ผ่านทาง... Edge Computing โดยไม่ต้องส่งข้อมูลไปยังคลาวด์ ซึ่งก็เป็นอีกหนึ่งข้อดี ข้อดีประการหนึ่งของการรักษาความเป็นส่วนตัว ผู้ใช้

มุ่งสู่ปัญญาประดิษฐ์ที่ยั่งยืนและน้ำหนักเบา

ไม่ใช่แค่เรื่องการลดน้ำหนักเท่านั้น แต่ยังมีแนวโน้มอื่นๆ อีกด้วย... โครงข่ายประสาทเทียมน้ำหนักเบาอุปกรณ์เหล่านี้ได้รับการออกแบบมาให้ใช้พลังงานและหน่วยความจำน้อยที่สุดเท่าที่จะเป็นไปได้ โดยใช้เทคนิคต่างๆ เช่น การฝึกฝนหรือการตัดแต่งกิ่งแบบเบาบางซึ่งประกอบด้วยการตัดการเชื่อมต่อที่ไม่ก่อให้เกิดประโยชน์ใดๆ ต่อผลลัพธ์สุดท้าย

แนวทางนี้มีความสำคัญอย่างยิ่งในภาคส่วนต่างๆ เช่น การจัดการพลังงานในอาคาร หรือระบบระบายความร้อนในศูนย์ข้อมูล ซึ่งการเพิ่มประสิทธิภาพการใช้พลังงานอาจหมายถึง... ประหยัดพลังงานได้สูงสุดถึง 30%เป้าหมายนั้นชัดเจน: คือไม่ให้ AI เป็นปัญหาด้านสภาพภูมิอากาศ แต่เป็นส่วนหนึ่งของวิธีแก้ปัญหา โดยช่วยให้สามารถผลิตอุปกรณ์ราคาประหยัดได้ เช่น ไมโครคอนโทรลเลอร์ ARM Cortexดำเนินการภารกิจอัจฉริยะแบบเรียลไทม์

จากหม้อแปลงไฟฟ้าที่ให้พลังงานแก่แชทบอทสมัยใหม่ ไปจนถึงโครงข่ายประสาทเทียมแบบคอนโวลูชัน (CNN) ที่เน้นการประมวลผลภาพ เส้นทางสู่ประสิทธิภาพล้วนนำไปสู่สิ่งเหล่านี้ ลดความซับซ้อนในการคำนวณการก้าวกระโดดจากเพอร์เซปตรอนแบบคลาสสิกไปสู่ ​​AI แบบสร้างสรรค์นั้นก้าวกระโดดอย่างมากทั้งในแง่ของข้อมูลและพลังการประมวลผล แต่เทคโนโลยีล้ำสมัยในปัจจุบันกลับมุ่งไปสู่การทำสิ่งต่างๆ ให้ได้มากขึ้นด้วยทรัพยากรที่น้อยลงกว่าเดิม

การเปลี่ยนผ่านจากสถาปัตยกรรมที่มีความหนาแน่นสูงและเน้นการคูณ ไปสู่ระบบที่ใช้การค้นหาแบบไบนารีและโมเดลที่ตัดแต่งแล้ว ทำให้ปัญญาประดิษฐ์สามารถใช้งานได้บนอุปกรณ์ขนาดเล็ก ด้วยการผสานรวมประสิทธิภาพด้านพลังงานและการลดความซับซ้อนทางคณิตศาสตร์ การประมวลผลข้อมูลจึงเร็วขึ้นและยั่งยืนมากขึ้นอย่างมาก ปูทางไปสู่การประมวลผลแบบส่วนตัวในพื้นที่ ซึ่งไม่จำเป็นต้องพึ่งพา GPU ขนาดใหญ่เพื่อให้ทำงานได้อย่างถูกต้องอีกต่อไป

กล้องไฮเปอร์สเปกตรัมพร้อมปัญญาประดิษฐ์
บทความที่เกี่ยวข้อง:
กล้องไฮเปอร์สเปกตรัมพร้อมปัญญาประดิษฐ์: การใช้งานจริงและเทคโนโลยี

เพิ่มเป็นแหล่งข้อมูลที่ต้องการใน Google