jeudi 26 octobre 2023

Colloque IA versus RN - David V. Feldman partage sa démarche - (IV/VII)

Lors du colloque du 21 octobre 2023, à l'espace Commines, « Apologie de la coproduction comme intelligence collective. Qu’est-ce que l’IA peut ne pas nous prendre ? » le musicien, informaticien et mathématicien américain David Victor Feldman professeur de mathématiques à l'Université du New Hampshire nous a fait part de quelques remarques et explicité sa propre démarche artistique.
Nous la présentons en bilingue français puis en anglais.
 
David Feldman en visio lors du Colloque au Salon des Réalités Nouvelles


Quelques Remarques
par
David Feldman

Le test de Turing pour l’intelligence artificielle est ingénieux au moins à deux égards. Premièrement, la formulation du test contourne complètement tout besoin de définition ou même de simple caractérisation de l’intelligence en elle-même. Deuxièmement, la formulation du test évite l'écueil de supposer que les autres personnes reconnaissent l'intelligence lorsque nous la reconnaissons (en tant qu'interlocuteur, et non en tant que tiers).

En effet, dès que des ordinateurs fonctionnels sont apparus, ceux-ci ont effectué des tâches (telles que des calculs complexes ou la résolution d’énigmes logiques) qui semblaient autrefois le domaine exclusif de la plus haute intelligence. Les observateurs avertis n’ont pas jugé que les machines possédaient de l’intelligence (et encore moins une intelligence élevée) ; au contraire, chaque nouveau succès a rendu moindre la pertinence des défis eux-mêmes. S’il semblait autrefois miraculeux qu’un ordinateur puisse  jouer aux échecs, bientôt n’importe quel enfant brillant pourra coder un tel programme.  Si plus tard il sembla miraculeux que les ordinateurs puissent battre les grands maîtres d'échecs, les experts ont rapidement corrigé en décrivant cela comme de la « force brute ».  

Les ordinateurs sont d’abord devenus performants dans les tâches que le cerveau humain accomplit généralement mal, en particulier : stocker et récupérer d’énormes quantités d’informations ; et exécuter des procédures précisément spécifiées avec une grande rapidité. Comme les humains eux-mêmes n'accomplissent généralement pas bien ces tâches, le fait que des machines les accomplissant bien, ne peut démontrer que ces machines possèdent une intelligence (de type humain). La question se pose donc ainsi : quel type de percée peut potentiellement nous faire changer d’avis sur les machines elles-mêmes et non à travers les défis qu'elles surmontent ?

Pendant longtemps, les schémas de l’intelligence humaine ont semblé liés à la communication en langage naturel, à la reconnaissance des formes et à la création artistique. Pour certains observateurs, les avancées récentes dans ces domaines signifient que le domaine de l’intelligence artificielle a franchi un seuil critique. Pourtant, aucune machine n’a réussi le test de Turing. Les chatbots, par exemple, même s'ils font des choses remarquables ; mais engagez la conversation pendant un petit moment, vous saurez que vous n'avez pas d'être humain de l'autre côté de l'interface. En effet, vous finirez par ressentir la vacuité frappante des réponses. Les personnes qui codent les chatbots, et même les personnes les plus honnêtes qui les vendent, veulent que vous sachiez que les chatbots ne pensent pas. Les chatbots enchaînent simplement les mots en fonction de probabilités dérivées de la façon dont les gens ont enchaîné les mots dans le passé. C’est incroyable que cela fonctionne si bien, mais cela ne fonctionne aussi bien que çà. La logique du chatbot ressemble à la logique du rêve, un flux d’associations associé à un sens à court terme, mais qui finit par dériver vers une confusion dénuée de sens.

Mais qu’en est-il de l’art ? Les gens font des images. Des programmes comme Stable Diffusion peuvent produire des images. Stable Diffusion s'appuie sur une base de données d'art créé par l'homme ; mais une grande partie de l’art créé par l’homme repose également sur  l'art des prédécesseurs, comme le soulignent sans relâche les historiens de l’art.  

Eh bien, tout comme pour les échecs, les machines qui se lancent dans la création artistique nous obligent à nous demander de manière critique ce que font les artistes lorsqu’ils créent.

Alors que nous avons tendance à penser l'art en termes d'objets [y compris les performances] (donc les dessins, les peintures, les sculptures, les compositions musicales, les danses, les pièces de théâtre, etc.), la véritable action de tout artiste consiste dans les expériences que ces objets offrent à ceux qui les regardent. Les artistes importants produisent un ensemble d’œuvres censées offrir une expérience précieuse d'une nature nouvelle. Mais il existe une tension intrinsèque entre la qualité et la nouveauté et peu d’artistes parviennent à projeter les deux, surtout sur le long terme. La navigation dans la tension entre qualité et nouveauté se déroule lentement et de manière dynamique au cours d’une vie. Le public est conscient des tics ou est fatigué de percevoir la répétition. La nouveauté a tendance à s’estomper et se révèle aussi souvent comme une illusion (car peu de spectateurs maîtrisent tous les précédents pertinents). Il faut généralement le collectif social pour organiser l'ensemble.

Ainsi, des programmes comme Stable Diffusion n’imitent désormais qu’une infime fraction de ce que font les artistes humains intéressants. Peut-être que l’avenir verra les réseaux neuronaux s’entraîner sur des œuvres entières (plutôt que sur telles images ou tels objets) dans le but de simuler les stratégies qui pourraient en faire les prochains Warhol, Hockney, Eliasson ou Kusama. Mais même si cela réussissait, cela ne ferait sans doute que modifier le système de valeurs qui anime le monde de l’art, dans une sorte de régression vers la moyenne.

En attendant, je considère (les applications comme ) Stable Diffusion non pas comme des artistes artificiels, mais plutôt comme produisant des œuvres électroniques d'art interactif sous forme ouverte ou comme un outil atteignant réellement une intelligence indicative.


David Feldman intervient depuis les USA, en visio
Carol-Ann Braun le traduit en simultanée.

Ainsi, de mon point de vue, notre (avec Carol-Ann Braun) projet a effectivement utilisé Stable Diffusion comme un simple outil et nous avons trouvé son résultat brut insuffisant. De par sa conception, Stable Diffusion prend des ordres écrits et les transforme en images figuratives. Pousser Stable Diffusion pour créer un art non objectif a révélé sa faiblesse.

Les thèmes de la simplicité et de la complexité traversent toute l’histoire de l’art non objectif. Lorsque les artistes travaillent avec simplicité, ils visent à faire en sorte que quelques décisions évidentes soient parfaitement lisibles. Sans ce genre de jugement, l’art simple n'est qu'ennui.

Quand les artistes travaillent avec la complexité, ils cherchent à créer une cohérence globale inattendue. S'il manque de cohérence, l’art complexe apparaît comme un désordre. 

Dans le domaine de l'art non-objectif, les images rapides de Stable Diffusion se dirigent vers le simple et l'ennui.

La possibilité de combiner d’une manière ou d’une autre, plusieurs images m’a donné l’opportunité d’en augmenter la complexité et la tension. J'ai réalisé que je pouvais atteindre la cohérence en utilisant encore une autre image de sortie comme dispositif d'organisation invisible.  

Mon algorithme était la simplicité même et pouvait difficilement être considéré comme une «intelligence artificielle ».  

Après avoir sélectionné quatre ou cinq images à mélanger, et une de plus comme organisateur, l'ordinateur a simplement choisi, pixel par pixel, la couleur des images source la plus proche de la couleur correspondante de la source. Du coup, on ressent la présence et la logique de toutes les images sources se réunissant dans une sorte de contrepoint visuel. Mais plutôt que de générer un collage aléatoire, la logique de l’image organisatrice rassemble de manière reconnaissable l’ensemble du résultat (même si aucun pixel de l’image organisatrice n’apparaît dans le résultat).  

Faire la distinction entre art et artisanat signifie considérer les objets comme des traces d’exploration et d’invention plutôt que comme une simple exécution habile d’un plan déterminé. Plutôt que simplement exprimer un sens (ou évoquer un sentiment), l’exploration permet à un sens/un sentiment d’émerger. Même si mon algorithme n’explore ni n’invente, le résultat suggère à mes yeux ce genre d’apparition.

Trad. Erik Levesque

Pour découvrir les œuvres musicales et plastiques de David Feldman, or to see David Feldman's works : https://soundcloud.com/david-victor-feldman


 
Some Remarks
by David Feldman

The Turing test for artificial intelligence is ingenious in at least two ways. First, the formulation of the test entirely bypasses any need for defining or every merely characterizing intelligence itself.  Second, the test's formulation avoids the pitfall of just assuming that people will just know intelligence when we see it (as second, not third parties).

Indeed, as soon as working computers came on the scene, computers performed tasks (such as complex calculations or logical puzzle solving) that once seemed the exclusive domain of high intelligence.   Sophisticated observers did not judge the machines to possess intelligence (much less high intelligence); rather each new success downgraded the relevance of the challenges themselves.  If it once seemed miraculous that a computer could even play chess at all, soon any bright kid could code such a program; if later it seemed miraculous that computers could beat chess grandmasters, experts rapidly dismissed that as "brute force."   Computers first got good at exactly the tasks human brains generally do badly, in particular: storing and retrieving massive amounts of information; and executing precisely specified procedures with great speed.   As people themselves don't generally do these tasks well, machines doing them well can't mark machines as possessing human(-like) intelligence. So the question arises: what kind of  breakthrough can potentially change our minds about the machines themselves rather than about the challenges the machines master?  

For a long time the gold standards of human intelligence seemed connected to communication in natural language, pattern recognition and creating art.   For some observers, recent strides in these domains mean that the field of artificial intelligence has crossed a critical threshold.   But still, no machine has passed the Turing test.   Chatbots, for example, while they do remarkable things, if you engage one for a little while you will know that you don't have a human being on the other side of the interface.  Indeed you will eventually sense the striking vacuity of the responses.   The people who code chatbots, and even the more honest people who sell them, want you to know that chatbots don't think.  Chatbots simply string words together based on probabilities derived from the way people have strung words together in the past.  Amazing that that works so well, but it also only works just so well.   Chatbot logic resembles dream logic, a flow of associations makes short-term sense, but eventually drifts into meaningless confusion.

But what about art?   People make pictures; programs like Stable Diffusion can produce pictures. Stable Diffusion relies on a database of human-made art; but also much human made art rests on precedent as art historians relentlessly make clear.  

Well, just like with chess, machines stepping into art making will force us to ask critically what people do when people make art.

While we tend to think about art in terms of objects [including performances] (so drawings, paintings, sculptures, musical compositions, dances, plays, etc.) any artist's real product consists in the experiences that these objects afford those who attend to them.  Important artists produce a body of work understood to afford valuable experience of a novel nature.   But there is an intrinsic tension between value and novelty and few artists succeed at projecting both, especially over the long haul.  The navigation of the tension between value and novelty will unfold slowly, and dynamically, over the course of a career. The public constantly sees through gimmicks or tires of perceived repetition.   Novelty tends to fade, and also often reveals itself as an illusion in the first place (because few viewers command all the relevant precedents).  It generally takes the social collective to sort all this out.

So programs the like of Stable Diffusion now only mimic a tiny fraction of what strong human artists do.   Perhaps the future will see neural nets train on whole careers (rather than just on individual images and objects) with the aim of simulating the strategies that could make the next Warhol or Hockney or Eliasson or Kusama.   But even if that happens successfully, doubtless it will only change the system of values that drive the art world in a kind of regression to the mean.

In the meantime, I view the likes of Stable Diffusion not as an artificial artists, but rather either as electronic works of interactive open form art or as a tool actually waiting for a guiding intelligence.

So, on my own view, our project indeed used Stable Diffusion as a mere tool and furthermore, found its raw output wanting.   By design, Stable Diffusion takes verbal prompts and works them into figurative images.  Pushing Stable Diffusion to make non-objective art revealed a weakness.

The themes of simplicity and complexity run through the whole history of non-objective art.  

When working with simplicity, artists aim to make the few manifest decisions count for the maximum.   Minus that kind of judgement, simple art just reads dull.

Working with complexity, artists aim for unexpected global coherence. Lacking coherence, complex art just comes off as a mess.  

In the non-objective realm, the prompt driven images of Stable Diffusion ran towards the simple and dull.  

The commission to somehow combine multiple images gave me the opportunity to increase the complexity and tension.  I realized that I could achieve coherence by using yet another output image as an unseen organizing device.  

My algorithm was simplicity itself and could hardly count as "artificial intelligence."  

Having selected four or five images to blend, and one more as the organizer, the computer simply picked, pixel-by-pixel whatever color from the source images that was closest to the corresponding color of the source.  As a result, one feels the presence and logic of all the source images coming together  in a kind of visual counterpoint.  But rather than generating a random collage, the organizing image's logic recognizably pulls the whole result together (even though not a single pixel of the organizing image appears in the result).  

To distinguish between art and craft means to view objects as traces of exploration and invention rather than mere skillful execution of a determined plan.  Rather than simply expressing meaning (or evoking feeling), exploration allows meaning/feeling to emerge.  While my algorithm certainly doesn't explore or invent, the result suggested to my eye just that sort of emergence.