Brevet Nintendo : appareil portable intégrant une caméra infrarouge et un détecteur de mouvement

Depuis septembre 2014, Nintendo a déposé des demandes de brevets au Japon pour un dispositif tenu dans la main avec une caméra infrarouge et un détecteur de mouvement. Désormais, ces mêmes brevets ont été déposés pour l'Occident. Il y a donc clairement le souhait de vouloir protéger quelque chose qui serait utilisé dans une application pratique.

Difficile en revanche de se dire si cela est lié aux recherches qui ont entouré la conception de la NX, un futur accessoire voire un dispositif du projet Quality of Life actuellement un peu en sommeil. Regardons dans le détail ce que nous avons :

Le premier brevet porte sur la manière dont les objets ou les mains de l'utilisateur vont être détectés.


Un support de stockage non-transitoire (donc accessible à tout moment de type disque dur ou mémoire) couplé avec un programme de traitement d'images incorporé directement à la machine.

Le programme de traitement d'images fait exécuter au processeur une fonctionnalité permettant d'obtenir une image infrarouge d'un sujet et de déterminer au sein de cette image la position du sujet en fonction de l'éclat et de la taille de la région étudiée contenant ce sujet.

En clair, le couplage photo RGB et IR permet précisément à l'appareil de définir la main devant le personnage et de la détacher du reste du décor pour suivre précisément son mouvement.

L'autre brevet détaille les aspects techniques du concept.
Suivant les indications de fig. 1, l'appareil électronique portatif 1 inclut un affichage 2, un écran tactile 3, un appareil-photo infrarouge 4, une sonde de mesure de distance 5, un bouton d'entrée (6A à 6D), un récepteur IR 7, et un projecteur 8, et ces composants sont logés dans un logement 10. Le logement 10 (l'appareil électronique portatif 1) a une forme plate rappelant le GamePad de la Wii U ou d'une tablette et a une taille assez petite pour être tenu avec une ou deux mains par l'utilisateur.
Un appareil-photo externe 9 est placé sur la surface arrière (surface T6) de l'appareil électronique portatif 1 (fig. 3). L'appareil-photo externe 9 inclut une lentille et un capteur qui détecte la lumière visible. L'appareil-photo externe 9 va pouvoir prendre une image d'un objet situé derrière le dispositif, en couleur (type RVB). On peut imaginer plusieurs modulations possibles en plaçant également un appareil de prise de vue sur l'avant du dispositif en plus de la face arrière ou bien uniquement sur la surface avant contenant l'écran (affichage 2).

La Fig. 4 est un schéma fonctionnel montrant un exemple de la configuration interne de l'appareil électronique portatif 1. Suivant les indications de fig. 4, en plus de chaque section décrite ci-dessus, l'appareil électronique portatif 1 inclut un vibrateur 11, un microphone 12, un haut-parleur 13, une unité de commande 14, une section de communication 15, un altimètre 16, un récepteur GPS 17, et une sonde géomagnétique 18. En outre, l'appareil électronique portatif 1 inclut une batterie qui n'est pas montrée, tout fonctionnant avec cette batterie. Tout l'ensemble est logé dans le logement 10.

Le troisième brevet est semblable au précédent mais pourrait indiquer la production de vibrations et de sons.

Nous aurions donc au final, en croisant l'ensemble, un dispositif capable de reconnaître les mouvements d’une Personne ou d’un Objet, utilisant un capteur infrarouge basé à la fois sur un appareil photo et un système de mesure de la distance, et pouvant produire des vibrations et des sons. Un exemple inclut même un projecteur et un récepteur de GPS.

L'idée commune à travers les classements est que l'appareil-photo infrarouge du système peut mesurer la distance et les objets, notamment la forme et les mouvements d'une main ; la main droite est détectée tandis que la main gauche tient le dispositif.

Quelques exemples donnés montrent ainsi l'action de la main droite qui en se rapprochant du dispositif verrait avancer un objet à l'écran (par exemple le corps d'un serpent qui se dévoile, un visage qui se rapproche), la position des doigts pourrait permettre d'interpréter une réponse comme le résultat d'un calcul mathématique ou créer des émoticônes sur l'écran.

12A et 12B sont chacun un diagramme montrant un autre exemple d'un processus basé sur un geste entrant utilisant l'appareil-photo infrarouge 4. Dans cet exemple, une question de calcul est montrée sur l'affichage 2. L'utilisateur y répond à l'aide de sa main droite. Par exemple, quand une chaîne de caractères « 1+4= ? » est montré suivant les indications de fig. 12A, si l'utilisateur exécute, à l'aide de sa main droite, un geste entré (un geste de « papier ") indiquant « 5» qui est la réponse correcte de cette question, un affichage indiquant que la réponse est correcte est exécutée sur l'affichage 2. A ce moment-là, un signal indiquant que la réponse est correcte peut être émis, ou le vibrateur 11 peut être activé pour jouer un son indiquant que la réponse est correcte, en faisant vibrer l'appareil électronique portatif 1.

Quand une chaîne de caractères « 1+1= ? » est montrée suivant les indications de la fig. 12B, si l'utilisateur exécute, à l'aide de sa main droite, (une entrée de « 5» par un geste) une réponse qui sera interprétée comme incorrect par rapport à la réponse attendue à cette question, un affichage indiquant que la réponse est incorrecte est exécuté sur l'affichage 2 et un son peut être produit pour indiquer que la réponse est incorrecte.

Les figures 10A à 10D représentent chacune un diagramme montrant un exemple d' un procédé basé sur l'analyse d'un geste entrant, en utilisant la caméra infra-rouge 4, les gestes étant fortement inspiré de la représentation du jeu pierre-feuille-ciseaux. Comme cela est représenté sur la Fig. 10A, quand l'utilisateur transforme sa main droite en « pierre » à une position prédéterminée du côté droit de l'appareil électronique portatif 1 tout en tenant l'appareil électronique portatif 1 avec sa main gauche, un caractère 21 est montré sur l'affichage 2. Suivant les indications de fig. 10B, en partant de l'état de fig. 10A, quand l'utilisateur déplace sa main droite vers le côté droit de l'appareil électronique portatif 1 en laissant sa main en position « pierre », le caractère 21 montré sur l'affichage 2 est agrandi.

En outre, quand à partir de l'état montré dans fig. 10B, l'utilisateur transforme sa main droite en forme « papier », l'expression du visage du caractère 21 sur l'affichage 2 change (fig. 10C). Par exemple, suivant les indications de fig. 10C, le caractère 21 change pour avoir une expression souriante. D'ailleurs, suivant les indications de la fig. 10D, quand l'utilisateur déplace sa main droite vers l'appareil électronique portatif 1 en gardant la position « papier », le caractère montré 21 est encore agrandi, et l'expression du visage peut changer. À ce moment-là, le vibrateur 11 peut fonctionner pour faire vibrer l'appareil électronique portatif 1, et un bruit peut être émis depuis le haut-parleur 13.

Une amusante application ludique est également présentée sous la forme d'un jeu de baseball. La main droite envoie une balle virtuelle vers le dispositif, qui finit par l'afficher à l'écran, on frappe la balle avec la batte dans le jeu présent sur l'écran et la main droite se ferme pour mimer le fait que l'on rattrape la balle virtuelle.
On sait déjà que ce type de dispositif infrarouge est utilisé pour stabiliser l'effet 3D beaucoup plus stable des nouvelles consoles New 3DS, afin de détecter de manière plus efficace votre visage pour ajuster dynamiquement l'image sur l'écran. Certains aspects de ces technologies présentées dans ces brevets auront peut-être une application dans le futur matériel.

Même si Nintendo ne commercialise pas toujours ses recherches au sein de produits finis, il est clair que la firme continue à effectuer de nombreuses recherches sur les interfaces de contrôle et sur le matériel.

Source : Nintendo Life