Ditulis oleh:

Pengenalan

Pernah tak terfikir nak kawal komponen elektronik menggunakan gerakan isyarat tangan? Dengan menggunakan gabungan elemen Kecerdasan Buatan (Artificial Intelligence, AI) yang tidak asing lagi iaitu pembelajaran mesin (machine learning) dan penglihatan komputer (computer vision) di samping penggunaan kamera komputer riba dan beberapa komponen yang digunakan dalam Internet of Things (IoT) sebenarnya ia tidak mustahil untuk membaca isyarat tangan manusia. 

Kecerdasan Buatan atau Artificial Intelligence (AI) merujuk kepada simulasi kecerdasan buatan manusia dalam mesin yang direkabentuk untuk berfikir dan bertindak seperti manusia.

Pembelajaran mesin (machine learning) ialah pendekatan kepada analisis data yang melibatkan pembinaan dan penyesuaian model yang membolehkan program belajar melalui pengalaman. Keupayaan sistem komputer untuk belajar dan menambah baik daripada tanpa diprogramkan secara eksplisit.

Terdapat pelbagai jenis platform pembelajaran mesin yang kita boleh pelajari antaranya Teachable Machine, Edge Impulse, TensorFlow Lite, Pytorch Mobile, MediaPipe, OpenVINO Toolkit (Intel) dan sebagainya. Untuk artikel kali ini, saya menggunakan platform MediaPipe dan OpenCV.

MediaPipe ialah pustaka pembelajaran mesin untuk pengesanan tangan, muka, badan dan sebagainya. Ia menyediakan satu set perpustakaan dan alatan untuk anda menggunakan teknik kecerdasan buatan (AI) dan pembelajaran mesin dengan cepat dalam aplikasi anda.

Penglihatan komputer (computer vision, CV) ialah bidang sains komputer yang melatih komputer untuk meniru sistem penglihatan manusia. Ini membolehkan peranti digital seperti pengesan muka dan pengimbas kod QR mengenal pasti dan memproses objek dalam imej dan video, seperti yang dilakukan oleh manusia.

OpenCV ialah singkatan untuk Open Source Computer Vision. Ia adalah pustaka penglihatan komputer untuk memproses video dan imej. Maksudnya, ia membantu komputer untuk “melihat” dan “memahami” gambar atau video. Antara kegunaan OpenCV ialah pengesanan objek (muka, tangan, kereta dan sebagainya), pengecaman corak (bulatan, segi empat, logo dan sebagainya), pemprosesan imej (memusingkan imej, “crop” imej, warna dan sebagainya), integrasi AI (digunakan bersama MediaPipe, Tensorflow dan sebagainya) dan lain-lain kegunaan. 

Antara komponen-komponen elektronik dan perisian yang digunakan dalam demonstrasi ini ialah mikro-pengawal ESP32, breadboard, perintang, LED (light emitting diode), jumper wire, servo motor, buzzer, kamera komputer riba, MediaPipe, OpenCV, Aduino IDE dan Python versi 3.11.

Konsep Asas Integrasi AI dan IoT

Konsep asas demonstrasi adalah seperti Rajah 1 di bawah ini.

Konsep MediaPipe mentafsir gerak isyarat tangan pula ditunjukkan seperti Rajah 2 di bawah ini:

Berikut ialah 3 (tiga) contoh demonstrasi ringkas yang saya gunakan iaitu:

1. Menyalakan dan memadamkan lima LED. 

Dengan mengikut bilangan jari, menggunakan salah satu tangan kiri atau kanan sahaja, bilangan LED yang menyala akan mengikut bilangan jari yang ditunjukkan iaitu apabila satu jari dibuka, satu LED akan menyala, dua jari dibuka maka dua LED menyala dan begitulah seterusnya sehingga kelima-lima LED menyala seperti ditunjukkan pada Rajah 3 di bawah ini.

Seterusnya, jika satu jari dilipatkan, maka satu LED akan terpadam, dua jari dilipatkan maka dua LED terpadam dan begitulah seterusnya sehingga kelima-lima LED dipadamkan seperti ditunjukkan pada Rajah 4 di bawah ini.

3. Membunyikan buzzer

Menggunakan belakang tapak tangan, buzzer akan berbunyi apabila tangan digenggam dan buzzer dimatikan apabila tangan dibuka seperti ditunjukkan pada Rajah 6 di bawah ini. Buzzer pada Rajah 6 di bawah ini ialah komponen bulat kecil berwarna putih itu.

Kesimpulan daripada ketiga-tiga contoh demonstrasi di atas ditunjukkan dalam Rajah 7 seperti di bawah ini.

Kesimpulan

Demonstrasi di atas boleh dipelbagaikan lagi dengan menggunakan kompnen-komponen elektronik yang lain. Demonstrasi ini boleh dijadikan bahan pembelajaran dan pengajaran (PdP) di dalam kelas supaya pelajar dapat melihat dan memahami dengan jelas tentang konsep integrasi AI dan IoT ini. Ini akan menjadikan proses PdP bertambah ceria dan menarik.

Konsep asas ini sebenarnya boleh diaplikasikan dan dikembangkan dalam projek-projek seperti smart home gesture control, alat bantu orang kurang upaya (OKU) (contohnya gesture control device), hand gesture car control, gesture controlled robot, virtual painter dan sebagainya.