Reconeixement de gestos de la mà amb el sensor Kinect

Abstract

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Nowadays, Hand Gesture Recognition (HGR) is an important research field since there are many situations in which it is necessary to communicate through signs, for example communication between deaf and non-deaf people. In this project, a Real-Time Hand Gesture Recognition method with Kinect sensor for Xbox is presented. This system is implemented with Python under Linux using OpenCV computer vision library for data processing. Kinect sensor capacity to capture depth data enables 3D objects motion tracking, which allows the users to carry out complete real-time analysis of images or images sequences. Recognition process is based on image segmentation to remove background, which provides hand-processing only, contours detecting, convex hull and convex defects in order to determine the number of fingers and recognize hand gestures. Once the gesture has been recognized, the system will provide the correspondent output number or letter. The application can recognize numbers from 0 to 5, since only one hand is processed, many popular gestures and some letters of Catalan sign language alphabet. This project is, therefore, an introduction of Hand Gesture Recognition and the cradle of a future sign language recognition system able to transcribe both dynamic signs and sign language alphabet.