Pada tugas akhir ini akan dirancang suatu sistem detektor gestur tangan berbasis augmented reality dengan menggunakan metode sensor fusion dan dibantu oleh Lidar sensor untuk mengendalikan Mobile Robot. Metode yang digunakan pada tugas akhir ini adalah kuantitatif eksperimental. Eksperimen dilakukan dengan cara menguji sistem pengendalian kendaraan yang telah dirancang dan direalisasikan. Tugas akhir ini dititikberatkan pada teknologi Kinect yang akan mendeteksi gestur tangan untuk Gerakan mobile robot dan Lidar yang dapat membantu Mobile Robot untuk mengenali medan yang ada di sekitar Mobile Robot. Salah satu kelebihan dari teknologi Lidar sensor ini dapat mendeteksi medan yang ada disekeliling Mobile Robot sejauh 6 meter agar pengemudi mendapatkan informasi dan mengurangi kesalahan dari pengemudi. Teknologi Augmented Reality digunakan untuk mengendalikan Mobile Robot melalui gestur tangan. Gestur tangan ini dikonversi kedalam bentuk sudut menggunakan trigonometri dan berfungsi sebagai kemudi dari Mobile Robot. Sistem ini menggunakan komunikasi Wireless sehingga pengendalian kendaraan dapat dilakukan dari jarak jauh dan komunikasi Wireless LAN ( Local Area Network ) untuk koneksi kamera sebagai visualisasi pengguna. Pada sistem ini juga terdapat memory card untuk menyimpan data kecepatan Mobile Robot dan data pembacaan sensor. Sistem ini akan bekerja dengan cara membaca gestur tangan berupa gerakan tangan layaknya sedang memegang stir mobil saat berkendara. Gerakan tangan tersebut akan dibaca oleh Kinect sensor. Hasil pembacaan dari sensor kinect adalah berupa data yang menentukan arah mobil akan bergerak. Kendali fuzzy logic digunakan sebagai pengambil keputusan gerakan mobile robot dari hasil pembacaan sensor kinect. Keluaran dari fuzzy logic ini berupa sinyal pwm yang akan mengatur arah mobile robot. Hasil pembacaan dari beberapa sensor ultrasonik akan disimpulkan menjadi satu kesimpulan dengan sensor fusion yang berupa algoritma pada program agar mobile robot dapat terhindar dari tabrakan dengan jarak 25 cm. Dengan memanfaatkan teknologi Augmented Reality memungkinkan pengguna dapat merasakan kondisi sekitar alat dengan tempat yang berbeda secara real time. Serta adanya Lidar yang akan mengirimkan data keadaan sekitar dengan rentang deteksi 6 meter dan sudut deteksi 360 derajat akan memberikan notifikasi kepada pengguna. Kata Kunci: Lidar, Kinect, Fuzzy Logic, Wireless LAN, Augmented Reality, Sensor Fusion.

In this final project, a detector system based on augmented reality with sensor fusion method and Lidar will be designed to control a Mobile Robot. The method is used in this final project is quantitative experimental. The experiment was carried out by testing the system between the designed system and the realized system. This Final Project focused on Kinect technology for detecting the hand gesture and Lidar technology to help identify the area around the mobile robot. The advantage of Lidar technology can reach 6 meters in the range of detection. Augmented Reality technology is used to control the mobile robot using a hand gesture. Hand gesture then converted to an angle form using trigonometry and use as steer of the mobile robot. This system uses a wireless communication so controlling can be done o a certain distance and Wireless LAN (Local Area Network) for the camera connection as user visualization. This system also held a memory card for saving the speed of mobile robot and sensor detection results. This system work in a way of detecting a hand gesture. The hand gesture is detected by Kinect and will decide the move of the mobile robot. Fuzzy Logic is used for decision making for mobile robot move. The output from fuzzy logic is a PWM (Pulse Width Modulation) for a mobile robot move. The output from ultrasonic sensors will be concluded and become one decision to avoid a crash on a 25 cm distance range. With Augmented Reality technology, the user will feel the different conditions from the device in real-time. Also, the Lidar will send the data condition around the mobile robot on a range distance 6 cm and angle detection is 360 degrees will give the user notification. Keywords: Lidar, Kinect, Fuzzy Logic, Wireless LAN, Augmented Reality, Sensor Fusion.

http://digilib.polban.ac.id/gdl.php?mod=browse&op=read&id=jbptppolban-gdl-prihantoro-13234