Mark2 — Bras robotique assistant 5 DDL

Mark2 est un bras robotique assistant 5 DDL qui combine commande vocale, perception visuelle par marqueurs ArUco, cinématique inverse et interface web de supervision. L’architecture logicielle modulaire en Python et Flask permet d’orchestrer la détection, la planification géométrique et l’exécution des commandes moteurs pour un pilotage intuitif en mode automatique par voix et vision ou en mode manuel via un gant ESP32 avec IMU.

Objectif

Permettre un pilotage souple du bras : déplacements en coordonnées cartésiennes, prise d’objet guidée par la vision, retour à l’origine, et téléopération directe par la pose de la main (pitch/roll) complétée par un joystick. Le système doit rester modulaire côté logiciel (Python, Flask) pour itérer rapidement sur la chaîne perception, planification géométrique et exécution sur servomoteurs.

Architecture

L’orchestration est pilotée par main.py, qui lance les modules audio, vision, cinématique, gant ESP32, et commande série autour d’un état partagé robot_state.

Choix techniques et solutions retenues

• PCA9685 : pilotage multi-canaux PWM pour les servos sans saturer les GPIO du Raspberry Pi, avec une alimentation 5 V dédiée aux actionneurs pour séparer logique et puissance.
• Flask : API REST légère et pages dynamiques pour le prototype avec couplage simple à OpenCV et au port série dans un même processus Python.
• Reconnaissance vocale : Google SpeechRecognition pour itérer vite sur la grammaire de commandes en français, au prix d’une dépendance réseau.
• Homographie ArUco : quatre marqueurs fixes pour définir le plan de travail et aligner les coordonnées image avec le repère du robot avant conversion et IK.
• Gant ESP32 : requêtes HTTP périodiques pour réutiliser la pile IP du PC et isoler le firmware du gant de la logique Flask.

Démonstration vidéo

Conception mécanique

Le bras est construit autour d’une structure imprimée en FDM : segments rigides, articulations servomécaniques, base et préhenseur. Le design a été affiné en plusieurs itérations : premier prototype pour valider la cinématique inverse, second prototype avec caméra, alimentation intégrée, câblage rationalisé et interface d’outils interchangeables.

La caméra est positionnée pour observer le plan de travail et les marqueurs ArUco et les câbles sont routés le long du bras pour limiter les accrochages lors des mouvements répétés.

Changement d’outil en un clip

Sous le préhenseur, l’interface d’outil repose sur trois points de contact : VCC, GND et un signal PWM pour piloter le servo de l’outil (pince, électroaimant, etc.) sans recâbler à chaque changement. Le clip mécanique assure à la fois la tenue et la continuité électrique.

Conception électronique

Côté bras, le schéma représente la liaison I2C entre le Raspberry Pi et le PCA9685, et une alimentation 5 V haute disponibilité pour les servos (ex. prise depuis une source type ATX) afin de ne pas tirer le courant moteur depuis le Pi.

Le gant de téléopération repose sur un ESP32, deux MPU-6050 sur le même bus I2C avec adresses distinctes (broche AD0), et un joystick analogique avec bouton poussoir. L’ensemble est alimenté et câblé pour une lecture stable des inclinaisons et du joystick.

Contributions

• Conception de l’architecture logicielle Python/Flask : routes REST, threads vision, audio et état gant, état partagé robot_state.
• Développement de la cinématique inverse et du mapping image ↔ repère robot (inverse_kinematics.py, coord_conversion).
• Mise en œuvre du pipeline ArUco avec homographie à quatre marqueurs, détection d’objet et enchaînement pour la prise dans FrameWork.py.
• Implémentation de la commande vocale (PyAudio, seuil, parsing des commandes) et intégration aux mouvements.
• Développement du gant ESP32 et du lien HTTP (ESP32_Data.py) pour le mode manuel.
• Interface web (dashboard, Three.js, séquences par blocs) et itérations mécaniques sur le bras et le système d’outils à clip.

Métriques clés

Limites actuelles et niveau de validation