Les technologies immersives et leurs applications.
Les réalités virtuelle et augmentée au service de la Formation, de l’Industrie et du Bâtiment.
Les casques de réalité immersive, également appelés casques de réalité virtuelle (VR – Virtual Reality en anglais) ou de réalité augmentée (AR – Augmented Reality en anglais), ont de nombreuses applications dans divers secteurs tels que :
• Divertissement et jeux vidéo : cinéma immersif, jeux en réalité virtuelle.
• Formation et éducation : simulations professionnelles, cours immersifs.
• Santé et bien-être : rééducation physique, thérapies par exposition.
• Industrie et ingénierie : prototypage virtuel, revue de conception, maintenance et réparation.
• Architecture et immobilier : design d’intérieur, visites virtuelles.
• Marketing et publicité : expériences interactives, démonstration produit immersive.
• Réseaux sociaux et communication : espaces virtuels partagés.
• Tourisme : voyage immersif.
Comment la réalité virtuelle (VR) est-elle utilisée dans les domaines de la formation et de l’éducation?
Intéressons-nous aux usages en formation et en éducation.
L’ENS Rennes, via sa plateforme SUNI PFT, au travers des projets ACTE.BZH et FABREAL, travaille depuis cinq années à ces usages avec ses partenaires académiques (Université de Rennes, IUT de Rennes, INSA Rennes, Rectorat, …) Pour les simulations professionnelles, les casques de VR sont utilisés pour former les travailleurs dans des environnements simulés. Par exemple, les pilotes peuvent s’entraîner dans des simulateurs d’avion, et les chirurgiens peuvent pratiquer des opérations complexes sans risque. Pour les cours immersifs, les étudiants peuvent visiter des sites historiques, être positionnés dans des environnements complexes, explorer l’espace ou interagir avec des simulations scientifiques en utilisant la VR.
La technologie de réalité immersive peut transformer divers aspects de notre façon d’enseigner, de former. Notre leitmotiv : déterminer et accroître la valeur ajoutée de ces outils en formation. Tout d’abord apprenons mieux ce qui se cache derrière le terme de « réalité immersive ».
Technologie immersive : le continuum Réalité-Virtualité.
Les technologies de réalité immersive englobent plusieurs catégories qui permettent d’immerger un utilisateur dans un environnement numérique interactif. Voici les principales déclinaisons matérielles de ces technologies de réalité immersive :
- Smartphones / Tablettes pour la réalité augmentée
- Casques de réalité virtuelle / réalité mixte
- Lunettes de réalité augmentée (type hololens)
- Cube immersif (CAVE – Cave Automatic Virtual Environment),
- Simulateurs de mouvements et environnements immersifs (simulateurs de vol (pour la formation des pilotes), simulateurs de conduite, simulateurs militaires).
- Systèmes haptiques (gants haptiques, vestes haptiques, tapis de course VR).
Cube immersif présent à l’ENS Rennes
Quelles sont les principales différences entre la réalité virtuelle, la réalité augmentée et la réalité mixte ?
Précisons maintenant quelles sont les différences entre les trois réalités, à savoir virtuelle, augmentée et mixte.
- La réalité virtuelle plonge l’utilisateur dans un environnement entièrement virtuel, généré par ordinateur où il peut interagir avec les objets et les espaces qui l’entourent. Pour accéder à ces environnements, l’utilisateur porte un casque VR qui couvre totalement son champ de vision et utilise parfois des contrôleurs manuels pour interagir avec l’environnement. Les caractéristiques principales de la réalité virtuelle sont un environnement totalement immersif en 3D avec un monde réel occulté (attention à ne pas se cogner dans le monde réel) et une utilisation de capteurs de mouvements pour suivre les actions de l’utilisateur.
- La réalité augmentée superpose des éléments numériques (images, informations, animations) sur le monde réel, visibles à travers un écran (smartphone, tablette) ou un dispositif tel que des lunettes AR.
Les objets numériques s’ajoutent à l’environnement réel pour permettre de visualiser des informations en temps réel sur des objets ou des lieux du monde physique.
- La réalité mixte est une fusion plus avancée de la réalité virtuelle et augmentée (on complique les choses), où des objets numériques interagissent de manière dynamique avec l’environnement réel en temps réel. L’utilisateur peut interagir avec des éléments physiques et virtuels de manière naturelle. Les caractéristiques principales sont une combinaison d’éléments réels et virtuels (comme en réalité augmentée) avec des interactions dynamiques. Elle permet aux objets numériques de se comporter comme s’ils faisaient partie du monde réel (par exemple, une balle virtuelle peut rebondir sur une vraie table).
En complément, vous avez entendu parler de réalité étendue (XR – Extended Reality). C’est un terme générique qui englobe toutes les formes de réalité immersive, y compris la réalité virtuelle (VR), la réalité augmentée (AR) et la réalité mixte (MR). Le schéma ci-dessous doit vous permettre de vous y retrouver, de gauche à droite, nous passons d’un environnement 100% réel à un environnement 100% virtuel.
Reality-Virtuality Continuum (Milgram, Takemura, Utsumi, & Kishino, 1994).
Pour conclure, retenez que les réalités immersives/étendues (la VR, la AR et la MR), plutôt que d’être des notions isolées et éventuellement opposées, font, en réalité, partie du même concept : le continuum Réalité-Virtualité.
Quel usage possible pour la réalité étendue en formation et en enseignement ?
La réalité étendue, qui englobe la réalité virtuelle, augmentée et mixte, offre des possibilités innovantes pour la formation dans divers secteurs d’activités. Parmi ces possibilités, nous abordons ici la simulation immersive pour la formation professionnelle, la formation à la sécurité et l’apprentissage aux gestes. Cette liste n’est pas exhaustive.
Dans le cadre du projet ACTE.BZH et dans la littérature, il existe pour la formation professionnelle, un point d’intérêt autour de la simulation immersive. Les technologies immersives permettent de créer des environnements simulés dans lesquels les apprenants peuvent pratiquer des tâches complexes ou dangereuses, sans risques pour leur sécurité. Ces simulations sont particulièrement utiles pour positionner l’apprenant dans son futur environnement professionnel. Par exemple, les techniciens peuvent s’entraîner à utiliser des machines complexes dans un environnement virtuel, sans avoir à interrompre la production réelle. De la captation 360°, peut permettre de placer l’apprenant dans un atelier ou sur un chantier, sans risque. L’immersion est ainsi très réaliste et la modélisation rapide.
Modélisation d’une grue en VR
Photo 360 d’élèves en condition de travail au Lycée Jean Jaurès
Les technologies immersives sont très efficaces pour la formation à la sécurité. Il s’agit de former les apprenants et les employés aux procédures de sécurité, notamment dans des environnements à risque tels que :
- Des sites industriels : la réalité mixte peut simuler des accidents ou des incidents dangereux (incendies, fuites de produits chimiques) pour former les employés aux procédures d’évacuation et aux protocoles de sécurité ;
- Des chantiers de construction : la réalité augmentée peut superposer des informations de sécurité sur des chantiers réels, aidant ainsi les travailleurs à identifier les zones à risque et à suivre les bonnes pratiques.
L’apprentissage aux gestes, que nous pouvons qualifier d’apprentissage par l’expérience, est une des grandes forces de ces outils. Plutôt que de se contenter de lire ou d’écouter des informations, les apprenants peuvent vivre des expériences immersives : simulation de scénarios d’urgence, gestes/postures à travailler. Tous les retours de la littérature ne convergent pas sur une conclusion 100% bénéfique sur les apprentissages virtuels du geste par rapport à la réalité. La question est complexe. Est-ce que l’outil virtuel a ses limites ? Est-ce que la capsule réalité virtuelle a été bien conçue ? Comment bien digitaliser un geste ?
Quelle est la valeur ajoutée de la réalité étendue en formation et en enseignement ?
Les technologies de réalité étendue dans la formation permettent des expériences d’apprentissage immersives, interactives et personnalisées. Ces dernières améliorent l’engagement, l’efficacité et la rétention des connaissances. Ces technologies sont particulièrement adaptées pour des formations pratiques, des simulations à risque et des situations où les apprenants bénéficient d’un retour en temps réel.
Visite virtuelle de l’atelier
Mise en situation sur une chaine industrielle
Différents travaux autour de la didactique ont démontré que les technologies immersives permettent un meilleur ancrage cognitif. Attention, l’outil ne fait pas tout, il faut savoir s’en servir et à ce titre, la conception des capsules immersives est importante pour tirer les avantages d’ancrage cognitif accrus. La pédagogie par le jeu est également une approche moderne qui se développe. La réalité étendue entre dans cette tendance et s’inscrit comme un vecteur pour introduire des éléments de jeux dans la formation. L’objectif est d’augmenter l’engagement des apprenants. Par exemple les jeux sérieux (Serious Games) en réalité virtuelle peuvent rendre la formation plus interactive et motivante. Les environnements immersifs et interactifs rendent l’apprentissage plus ludique.
L’apprentissage avec ces outils sera plus personnalisé, traçable et adaptable. Par exemple, la réalité augmentée et la réalité mixte permettent d’offrir des formations adaptées au niveau et aux besoins de chaque apprenant. Dans un contexte industriel, des lunettes AR peuvent afficher des instructions personnalisées sur des machines ou des équipements, permettant ainsi une formation sur le tas plus efficace. Un suivi des performances : les systèmes XR peuvent suivre les actions de l’apprenant en temps réel et fournir des retours instantanés, permettant ainsi une amélioration continue.
Les outils peuvent permettre également de travailler sa communication et son rendre compte. Nous avons testé en classe de BAC Pro, d’équiper un étudiant avec des lunettes de réalité augmentée.
Il travaillait en binôme avec un de ses camarades situé en salle, ayant un accès à de la documentation technique. Ils devaient réaliser à distance une opération de télémaintenance. L’étudiant équipé de lunettes était devant une chaudière en panne. Le second plus expérimenté le guidait, en récupérant des informations techniques. Il travaillait ainsi sa capacité à communiquer, sa capacité à rendre compte, tout en travaillant, en binôme, des qualités professionnelles tel qu’une méthodologie de recherche de panne. Les expérimentations réalisées au lycée Mendès France à Rennes ont été très intéressantes pour les élèves. Ils ont été interrogés en fin de séance sur leur ressentis. La télémaintenance est une solution clé en main pour ces casques de réalité augmentée, mais il est possible d’aller plus loin dans le développement des compétences.
Prêt à transformer vos idées en réalité immersive ?
Vous voulez franchir le pas, vous avez besoin d’aide pour développer des capsules?
Nous avons développé des capsules immersives pour différentes technologies de réalité (augmentée, mixte, virtuelle). Nous pouvons modéliser et concevoir des capsules 100% virtuelles. Nous pouvons numériser un espace réel en captation 360° et proposer des parcours de formation avec des interactions dans ces environnements. Des exemples concrets de réalisation peuvent être présentés. Vous avez un projet, nous sommes à votre disposition.
Nos montées en compétences sur ce sujet ont été réalisées grâce à deux projets : FABREAL et ACTE.BZH (financement PIA4). Ces projets sont soutenus par l’Etat, grâce à l’appui financier de la Caisse des Dépôts et Consignation, de la Région Bretagne et de la Communauté d’Agglomération Rennes Métropole.
Source :
Wikipedia :
https://fr.wikipedia.org/wiki/R%C3%A9alit%C3%A9_virtuelle
https://fr.wikipedia.org/wiki/R%C3%A9alit%C3%A9_augment%C3%A9e
https://fr.wikipedia.org/wiki/R%C3%A9alit%C3%A9_mixte
Article d’origine sur l’image du Reality-Virtuality Continuum :
Association Francophone de Promotion de la Réalité Augmentée (RA Pro) :
https://www.augmented-reality.fr/cest-quoi-la-realite-augmentee/
https://www.augmented-reality.fr/2016/05/ra-et-rm-sont-dans-un-bateau-ra-tombe-a-leau/
