« Notre monde étant intégralement constitué de systèmes, vivants ou non, et fonctionnant en interaction, un réseau d’ordinateurs, une entreprise, mais aussi un écosystème, une société, un organisme ou un individu peuvent donc être considérés comme des « systèmes ». » Norbert Wiener.
Le terme Matrice Active est un label déposé qui recouvre l’ensemble de mes travaux de recherche de plasticienne, à partir des années 90 qui, en avance sur leur temps, partent d’une l’idée un peu folle : comment entrer dans un tableau, ouvrir sa surface et y laisser pénétrer le spectateur à l’intérieur. C’est le recours aux traitements numériques des images et l’utilisation de technologies 3D temps réel de Réalité Virtuelle interactive et immersive qui ont permis au rêve de devenir réalité. Partant de tableaux existants déjà, les technologies ont transformé le propos, enrichi la proposition de départ par l’utilisation des possibilités de techniques de simulation : dynamiques des formes, émergences des comportements, modélisation de modèles physiques, sociaux, biologiques, cognitifs…., scénarisation et écriture des interactions internes, de l’interactivité externe avec les postures ou la gestuelle de l’interacteur. C’est pourquoi, je parle au sujet de mes dispositifs artistiques d’une idée de « peintures augmentées ». Le terme Matrice Active a été employé et publié dès les années 2000 au moment où après la réalisation de Centre-Lumière-Bleu, il s’agissait de poursuivre la recherche théorisée dans ma thèse de doctorat sous le nom de « scénographies interactives ». Le but de cette recherche étant de mettre le medium « peinture » et la notion de « champ pictural » dans d’autres perspectives, grâce à l’usage de technologies nouvelles, celles de la 3D temps réel. Les éléments scéniques : la couleur, le mouvement, la lumière, les formes, le son et la présence du spectateur y sont privilégiés par rapport au texte pour créer une certaine forme de dramaturgie.
Ce qui se présente comme mon « laboratoire d’idées pour le futur et l’innovation » (un think tank ) concerne donc maintenant la conception/réalisation de « tableaux-systèmes dynamiques». C’est-à-dire des formes nouvelles de peintures vivantes portant sur l’invention de régimes de simulation en adéquation avec la sensibilité de notre époque pour tenter de traduire au mieux une certaine idée du monde, de son organisation (au sens donné par Edgar Morin) et de sa complexité. Un monde perçu, non plus comme totalité ordonnée de façon figée mais comme système émergeant d’interactions entre les éléments entre eux et avec leur environnement virtuel et humain qui se maintiennent mutuellement dans un état d’équilibre soumis à divers degrés d’entropie.
Matrice Active propose des voyages interactifs au cœur d’oeuvres d’art modélisées en 3D, peintures “augmentées” que le visiteur peut modifier en temps réel.
Le tableau scénique n°1
La première phase de réalisation de cette recherche s’intitule Tableau scénique n°1 et s’est faite sur la base du travail pratique et théorique de Wassily Kandinsky, ses peintures et ses projets de théâtre « autre » sous la forme d’une « scène abstraite ». L’idée est de favoriser une expérience sensorielle et émotionnelle innovante pour se sentir présent dans l’univers imaginé par le peintre, l’habiter, en faire partie et faire basculer le tableau virtuel dans différents états selon le comportement et les gestes des spectateurs. Celui-ci est invité à vivre une expérience : celle de pouvoir s’immerger à l‘intérieur d’une œuvre d’art simulée et d’y voyager librement à son propre rythme pour la découvrir.
Mettant en jeu et en scène des interactions entre les formes, les couleurs, les textures, les lumières et les mouvements, la recherche plastique ajoute au langage des formes, des couleurs et des sons, celui des comportements et des relations et vise à donner un sens particulier à une œuvre, préfigurant aussi de nouvelles approches sensibles de médiation.
Qui est Kandinsky ?
Le peintre d’origine russe Wassily Kandinsky, est considéré comme étant l’ « inventeur » de la peinture abstraite.
Né à Moscou en 1866, il a vécu en Russie, en Allemagne où il a enseigné dans la célèbre école d’art, de design et d’architecture du Bauhaus créée par l’architecte Walter Gropius en 1919, et en France où il est mort en 1944, à Neuilly-sur-Seine. Il a mis en oeuvre un langage, basé sur la combinatoire de formes et de couleurs simples, assemblées de façon complexe selon des lois de « mise en scène » dans l’espace du tableau. Ces lois ont été décrites dans son livre Point et ligne sur plan, contribution à l’analyse des éléments de la peinture (publié en 1926), afin de faire émerger une « sémantique » particulière à l’assemblage des « éléments scéniques » du tableau, donnée par leur position spatiale et par les tensions qui s’exercent entre eux.
Il a également développé, parallèlement à sa production de tableaux bi-dimensionnels, tout un travail de projets de « tableaux scéniques » appelés « Compositions pour la scène ». Proche avant l’heure, du multimédia: il a cherché à cerner tous les problèmes liés à la mise en œuvre du son, du mot, du mouvement, de la couleur, et de la lumière sur la scène, dans une seule et même œuvre. Dans un article intitulé : « De la synthèse scénique abstraite », publié en 1923 lors de la première grande exposition-manifestation du Bauhaus de Weimar, Kandinsky veut réformer le théâtre. Pour lui, la peinture et les arts de l’espace doivent rivaliser pour créer l’ambiance propice à la mise en œuvre de ce qu’il appelle la « synthèse scénique abstraite ». Il veut trouver une forme de création où couleur, musique, mouvement et leur action concertée dans le temps, entrent en « résonance ». Il cherche aussi la « collaboration du spectateur » et veut que l’esprit créateur utilise les outils qui seront entre ses mains pour créer l’ »œuvre vivante ».
Parallèlement à son œuvre picturale, graphique, poétique (il a publié un recueil de poèmes intitulé Klänge –Résonances en 1913) et scénographique, Kandinsky a mené tout au long de sa vie une recherche théorique sous la forme de nombreux articles et de livres publiés dont Du spirituel dans l’art et dans la peinture en particulier (1910) où il élabore une théorie des couleurs basée sur le contraste chaud/froid et clair/obscur.
Il a été lié d’amitié à de nombreux artistes qui ont marqué cette époque : notamment le peintre Paul Klee et l’inventeur de la musique « concrète » Schönberg. Tout son œuvre tend à libérer l’art de la correspondance avec l’aspect extérieur des choses perçues pour instaurer l’avènement d’un nouveau langage de signes universels et élémentaires issu d’une « nécessité intérieure » tendant à traduire le fond essentiel et spirituel des phénomènes.
Ses œuvres sont dans les plus grands musées du monde (Centre Georges Pompidou, Paris, National Gallery of Art, Washington DC, Art Institute of Chicago, Guggenheim, Bilbao, Guggenheim Hermitage Museum, Las Vegas, Guggenheim Museum, NYC, State Hermitage Museum, Saint Petersburg, Reina Sofía National Museum, Madrid, Tate Gallery, London, Stedelijk Museum of Modern Art, Amsterdam, etc), ainsi que dans des collections privées.
Première étape : la modélisation du tableau
La première étape du projet a été menée dans le cadre des activités de La Villa Media (Résidence européenne du multimédia éducatif) à Grenoble où j’ai été sélectionnée en 2003 en tant que plasticienne et universitaire pour y poursuivre mes activités de recherche sur l’engagement du corps dans la perception et l’acquisition des connaissances.
La « recherche-création » prend alors la forme d’une simulation, environnement virtuel 3D, scénographie interactive interprétant le monde du peintre comme un système dynamique complexe dans lequel les éléments interagissent entre eux et avec leur environnement virtuel et humain. Les éléments scéniques proviennent de l’interprétation du monde poétique, cosmique et symbolique de la peinture Jaune-Rouge-Bleu peint entre mars et mai 1925. Elle consiste en la mise en espace scénique du tableau de Wassily Kandinsky : il s’agit d’en répertorier les éléments qui le constituent, déterminés par les formes et les couleurs créées par le peintre, d’en analyser les règles de composition et d’organisation spatiale, d’en repérer les tensions au niveau global et local, puis de rendre computationnel le modèle artistique et son interprétation : de passer du modèle à la modélisation.
Ce travail est un travail d’écriture et de scénarisation qui aboutit à la modélisation de l’imaginaire du processus de représentation chez Kandinsky sous la forme d’un univers virtuel dynamique, immersif, ludique et interactif.
Voir le tableau de scénarisation de l’interprétation de Jaune-Rouge-Bleu
Le travail de modélisation concrétisé à la Villa Media sous la forme d’un premier prototype s’est ensuite poursuivi lors d’une résidence d’un mois à l’Atelier d’Art 3000/Le Cube à Issy-les-Moulineaux en 2004. Le travail a porté sur l’amélioration de certains aspects graphiques et d’une esthétique de la déambulation, du voyage et de l’immersion par la mise en œuvre de caméras virtuelles et de points de vue localisés dans chacun des éléments scéniques de la scénographie, manipulables par l’interacteur lui-même. A cette étape de la recherche les interactions externes se faisaient uniquement avec le clavier et la souris comme interfaces utilisateurs.
Seconde étape : une approche destinée au grand public et au jeune public
La dynamique interactive évolue, le tableau Jaune-Rouge-Bleu de Wassily Kandinsky, modèle abstrait et modèle mathématique, est déconstruit puis reconstruit dans un espace de données (data space) où interactivités internes des acteurs virtuels entre eux et avec leur environnement et interactivité externe résultant du couplage du corps réel de l’interacteur avec la scénographie, se conjuguent pour une pratique de l’interactivité qui ne soit pas simplement de la réactivité, ne se réduisant pas à une activité réflexe mais produise un dialogue évolué destiné à maintenir le système en état d’équilibre.
Ainsi, les interactions endogènes, basées sur des modèles physiques mécaniques, permettent aux éléments de se mouvoir, de s’auto-organiser et de faire émerger différents états du tableau virtuel selon les comportements du visiteur. Celui-ci est invité à vivre une expérience inédite où il peut, par ses gestes, seul ou en collaborant avec d’autres, perturber l’équilibre compositionnel du tableau inventant d’autres états et créant ainsi autant de constructions sémantiques dynamiques différentes. Quelques postures simples du corps sont mises à disposition de l’interacteur. Il peut les combiner dans l’ordre qu’il désire et « jouer » à sa guise avec son corps pour initier avec le « tableau-système » un dialogue riche et intuitif. L’approche est ludique et suscite des échanges verbaux, un partage, une collaboration, un engagement collectif de tout l’environnement de l’interacteur principal : celui qui est calibré par l’interface, le capteur de mouvement Kinect®. L’oeuvre donne ainsi à voir et à expérimenter divers « états » du tableau selon un principe « matriciel » qui peut en générer et en actualiser autant que de combinaisons possible des éléments appartenant au vocabulaire de cette époque du langage pictural de Kandinsly. Et ce principe matriciel, c’est le lecteur de l’image (l’interacteur) qui l’active par quelques postures simples du corps qu’il interprète selon sa personnalité. Le tableau devient selon le précepte de Kandinsky un organisme vivant, alter ego pour l’interacteur qui l’interpelle, se mesure à lui, lui résiste ou essaie de le dompter.
Fiche Technique :
- un PC récent avec une bonne carte graphique
- un écran plasma full HD d’au moins 42 pouces, LCD ou projection par vidéoprojecteur ou salle immersive
- un PC portable pour afficher le squelette tracké par le capteur
- un vidéoprojecteur 5 000 lumens
- un capteur Kinect®
- Prises électriques
- Les dimensions de l’installation sont variables
Description du fonctionnement
L’application fonctionne de manière autonome et sur une durée infinie sans réinitialisation. Le public interagit en temps réel avec l’application et voit directement sur l’écran s’afficher les résultats de ses actions. Une personne du public se met face à l’écran sur lequel s’affiche le tableau virtuel à l’état dynamique. Dans un premier temps, il se place dans une zone de calibration afin d’être tracké par la caméra Kinect®. Il se familiarise ensuite avec quelques éléments de gestuelle qu’il va pouvoir effectuer et combiner ainsi qu’avec la zone de déplacement dans laquelle il va pouvoir interagir. Puis, après quelques minutes « d’apprentissage » des possibilités d’action, phase pendant laquelle il est très souvent en interaction humaine avec d’autres visiteurs, il expérimente corporellement son dialogue interactif guidé par les réactions du tableau virtuel.
A l’aide d’un capteur Kinect®, système de reconnaissance de mouvements, le public peut, en immersion directe avec son corps, actionner deux sortes de points de vue :
Conception : Sophie Lavaud
sophie-lavaud@neuf.fr
Développement 3Dvia/Virtools : Jean-François Jégo, Doctorant
Équipe Réalité Virtuelle & Réalité Augmentée
Centre de robotique CAOR, MINES ParisTech
Jean-Francois.Jego@mines-paristech.fr
sous la direction de Philippe Fuchs, Professeur
Equipe Réalité Virtuelle et Réalité Augmentée – Centre de Robotique d’ARMINES
MINES ParisTech
philippe.fuchs@ensmp.fr
Avec le soutien du LIG (Laboratoire Informatique de Grenoble), le Cube, centre de création numérique
Production ART3000/LE CUBE – Programmation : 3DVIA Virtools
© ART3000/LE CUBE – Sophie Lavaud