การควบคุมท่าทางเว็บแคมแบบไม่สัมผัส, การจัดการเคอร์เซอร์และสื่อบน Windows
AI-Hands ซึ่งพัฒนาโดย AIWander เป็นยูทิลิตี้ Windows แบบโอเพ่นซอร์สที่ช่วยให้ควบคุมเดสก์ท็อปโดยไม่ต้องสัมผัสโดยใช้การรู้จำท่าทางจากเว็บแคม แอปนี้แปลงข้อมูลจากเว็บแคมแบบสดให้เป็นการกระทำของเมาส์และคีย์บอร์ดผ่านการติดตามมือแบบเรียลไทม์และการตรวจจับจุดสำคัญที่ขับเคลื่อนโดย MediaPipe รวมถึงการแมพเคอร์เซอร์ การคลิกด้วยท่าทาง การเลื่อน และการควบคุมสื่อ ความไวที่ปรับได้และการซ้อนทับภาพช่วยให้ผู้ใช้ปรับพฤติกรรมได้ แอปนี้มุ่งเป้าไปที่ผู้ที่ชื่นชอบเทคโนโลยี ผู้ใช้ที่ต้องการการเข้าถึง และผู้เสนอที่ต้องการการนำทาง PC แบบไร้มือจากระยะไกล
เครื่องมือเปลี่ยนเว็บแคมมาตรฐานให้เป็นการป้อนข้อมูลเคอร์เซอร์และท่าทางโดยตรง
โดยใช้ MediaPipe สำหรับการติดตามมือแบบเรียลไทม์และการตรวจจับจุดสำคัญ แอพพลิเคชั่นนี้จะแมพนิ้วชี้ไปยังการเคลื่อนไหวของเคอร์เซอร์และแปลท่าทางมือเฉพาะให้เป็นการคลิก การเลื่อน และการควบคุมสื่อ การควบคุมหลักประกอบด้วย:
- เคอร์เซอร์ที่แมพไปยังตำแหน่งปลายนิ้ว
- การคลิกซ้าย ขวา และดับเบิลคลิกตามท่าทาง
- การเลื่อนเสมือนและคำสั่งสื่อ/ระดับเสียง
การซ้อนทับภาพจะแสดงจุดสำคัญที่ตรวจพบและท่าทางที่ใช้งานอยู่ในระหว่างการใช้งานการนำไปใช้รักษาผลกระทบต่อ CPU และหน่วยความจำให้อยู่ในระดับที่พอเหมาะบนระบบเดสก์ท็อป
นักพัฒนาได้สร้างเครื่องมือด้วยการนำไปใช้ Python ที่มีน้ำหนักเบาและโมเดลที่ได้รับการปรับแต่ง ดังนั้นจึงสามารถทำงานร่วมกับแอพพลิเคชั่นอื่น ๆ ได้โดยไม่มีภาระที่สำคัญ การปล่อยซอร์สต้องการสภาพแวดล้อม Python 3.x; การปล่อยแบบปฏิบัติการแบบสแตนด์อโลนอาจมีให้สำหรับการติดตั้งที่ง่ายกว่า เครื่องมือมุ่งเป้าไปที่เดสก์ท็อป Windows ปัจจุบันและต้องการเว็บแคมที่ทำงานได้สำหรับการป้อนข้อมูล โดยหลีกเลี่ยงความจำเป็นในการใช้เซ็นเซอร์อินฟราเรดหรือเซ็นเซอร์ความลึกที่เฉพาะเจาะจง
การแจกจ่ายแบบโอเพนซอร์สเพิ่มความโปร่งใส แต่ต้องการสิทธิ์ในการเข้าถึงกล้องและแสงที่ดี
โครงการนี้โฮสต์อยู่บน GitHub ดังนั้นผู้ใช้สามารถตรวจสอบซอร์สโค้ดและปรับเปลี่ยนพฤติกรรมเพื่อการตรวจสอบความปลอดภัยหรือการปรับแต่ง เครื่องมือต้องการการเข้าถึงเว็บแคมและขึ้นอยู่กับความสามารถของกล้องในการมองเห็นมือ; แสงปานกลางแนะนำสำหรับการติดตามที่เชื่อถือได้ เนื่องจากท่าทางแปลเป็นเหตุการณ์เมาส์และคีย์บอร์ดจริง ผู้ใช้ควรทดสอบการแมพในสภาพแวดล้อมที่ปลอดภัยก่อนที่จะกำหนดการกระทำที่สำคัญในระบบ
เครื่องมือสร้างสมดุลระหว่างการเข้าถึงที่ไม่เป็นทางการกับการปรับแต่งที่ลึกซึ้ง
ความไวที่ปรับได้และการซ้อนทับฟีดแบ็คช่วยในการปรับแต่งเบื้องต้น แต่การกำหนดค่าที่ซับซ้อนมากขึ้นอาจต้องการความคุ้นเคยกับไฟล์การกำหนดค่า หรือการตั้งค่า Python ผู้เสนอและผู้ใช้ที่ต้องการการเข้าถึงจะได้รับการควบคุมแบบไร้มือที่ใช้งานได้จากระยะไกล ในขณะที่การเล่นเกมที่แข่งขันและงานที่ต้องการความแม่นยำอื่น ๆ จะได้รับผลกระทบจากความล่าช้าของการป้อนข้อมูล การมีส่วนร่วมของชุมชนบน GitHub ขยายการแมพท่าทางและตัวเลือกการปรับแต่งสำหรับผู้ใช้ที่ต้องการขยายพฤติกรรม
ทางเลือกที่ใช้งานได้จริงสำหรับการสาธิตและการเข้าถึง ไม่เหมาะสำหรับงานที่ต้องการความแม่นยำ
เครื่องมือนี้ให้รางวัลแก่ผู้ใช้ที่ให้ความสำคัญกับการควบคุมระยะทางและการทดลอง โดยมีตัวเลือกที่ใช้งานได้แบบไม่ต้องใช้มือสำหรับการนำเสนอและสถานการณ์ช่วยเหลือ คาดว่าจะมีการแลกเปลี่ยนในงานที่ต้องการเวลาเนื่องจากการป้อนข้อมูลด้วยท่าทางไม่ตรงกับการตอบสนองของอุปกรณ์ต่อพ่วงโดยตรง โครงการนี้ได้รับประโยชน์จากการพัฒนาของชุมชน ดังนั้นผู้ใช้ที่สามารถทนต่อการปรับเปลี่ยนเป็นระยะๆ จะได้รับประโยชน์สูงสุด แนะนำให้ใช้
ข้อดี
- ทำงานร่วมกับเว็บแคมมาตรฐาน 720p–1080p ไม่ต้องการฮาร์ดแวร์เฉพาะทาง
- การติดตามมือแบบเรียลไทม์ที่ใช้ MediaPipe พร้อมการแสดงผลจุดสังเกตที่มองเห็นได้
- การใช้งาน Python ที่มีน้ำหนักเบาทำงานควบคู่ไปกับแอปพลิเคชันอื่น ๆ
ข้อเสีย
- ขีดจำกัดความหน่วงของข้อมูลมีความเหมาะสมสำหรับการเล่นเกมที่รวดเร็วและแข่งขัน
- การปล่อยแหล่งที่มาต้องการการตั้งค่า Python 3.x สำหรับการติดตั้งที่ไม่สามารถทำงานได้
- ความเชื่อถือได้ในการติดตามขึ้นอยู่กับแสงสว่างและการมองเห็นของเว็บแคม
