Taggad: immersive experiences

De immersiva upplevelsernas ballongflygande fader

Jag är bara nöjd om publiken, skakande och skälvande, sträcker upp händerna eller håller för ögonen av rädsla för spökena och demonerna som rusar emot dem
— Étienne-Gaspard Robert

På Cimetière du Père-Lachaise i Paris finns många spektakulära gravmonument. Men Étienne-Gaspard ”Robertson” Roberts grav sticker ändå upp och ut från mängden. På sockeln finns scener från hans långa och framgångsrika karriär som ballongflygare, uppfinnare, underhållare och illusionist; mästare av de multimedieföreställningar som kallas fantasmagorier. Monumentet pryds av de skräckens och dödens sinnebilder som han gav liv åt med hjälp av projiceringsteknik och berättarkonst. Tillsammans med reliefer som på ena sidan av gravmonumentet visar en fantasmagori med flygande skelett, och på den andra sidan en ballonguppstigning.

Robertsons grav på Cimetière du Père-Lachaise. Foto: Viktor Lindbäck CC-BY
Robertsons grav på Cimetière du Père-Lachaise. Foto: Viktor Lindbäck CC-BY
Robertsons grav på Cimetière du Père-Lachaise. Foto: Viktor Lindbäck CC-BY
Robertsons grav på Cimetière du Père-Lachaise. Foto: Viktor Lindbäck CC-BY
Robertsons grav på Cimetière du Père-Lachaise. Foto: Viktor Lindbäck CC-BY

Étienne-Gaspard Robert, verksam under aristnamnet Robertson, föddes 1763 i Liège, Belgien. Med ett tidigt intresse för det övernaturliga, började han studera filosofi vid universitetet i Louvain. Han fortsatte att studera alla grenar av fysik, naturvetenskap och konst, och stiftade även bekantskap med en tillverkare av optiska instrument – François Laurent Villette (1729–1809). Robertson bestämde sig slutligen för att satsa på en konstnärlig karriär, och begav sig till Paris för att uppnå sitt mål.

Till att börja med försörjde sig Robertson i Paris genom att måla miniatyrporträtt, senare med att ge privatlektioner. På fritiden gick han på naturvetenskapliga föreläsningar vid Collège de France – däribland föreläsningar av Jacques Alexandre Charles, som förutom fysiker och matematiker också var en pionjär inom flygning med gasballonger.

Första uppstigningen med Jacques Alexandre Charles vätgasballong

Första gången Robertson framträder offentligt är år 1796, då han lämnar in ett förslag till Directoire på hur man kan skulle kunna elda upp hela den brittiska flottan med hjälp av ”Arkimedes brännspeglar” och solens strålar. Förslaget antogs inte. Konstruktionen, som var en myt redan under medeltiden, har för övrigt avfärdats som praktiskt oanvändbar av Mythbusters.

Arkimedes brännspeglar i arbete med att bränna upp ett romerskt krigsfartyg. Väggmålning i Stanzino delle Matematiche i Florens, målad omkring 1600.

De följande åren fortsatte Robertson att experimentera, och utföra publika experiment med optik och galvanism. I sina memoarer, Memoires Recreatifs, Scientifiques and Anedotiques, författade 1830-34, beskriver Robertson hur han sedan ungdomen varit intresserad av den projektionsapparat som kallas laterna magica. Konstruktionen hade använts i århundraden före Robertson, och består i sin enklaste form av en ljuslykta i vars sida ett rör med en konvex lins i vardera änden sitter fästad. I mitten av röret finns en skåra, i vilken man stoppar bilden man vill projicera – målad på en skiva av glas eller annat genomskinligt material. När ljuset reflekteras av en konkav spegel mot den första konvexa linsen, koncentreras ljuset mot bilden. Den andra konvexa linsen förstorar bilden, och projicerar den mot en vägg eller annan yta. Om bilden projiceras mot en skärm av tunt tyg eller rök i mörker, uppstår illusionen av en fritt svävande bild. Laterna magica är föregångaren till alla moderna projektorer.

Projicering av bilder på rök, med hjälp av en dold laterna magica. Illustration ut Edmé-Gilles Guyots ”Nouvelles récréations physiques et mathématiques”, 1770
Skiss av den laterna magica som visades och såldes runtomkring i Europa av gotlänningen Thomas Rasmussen Walgensten (c. 1627 – 1681) från Vallstena, som även anses ha myntat namnet laterna magica. Illustration ur Claude Dechales ”Cursus seu mundus mathematicus – Tomus secundus” (1674).
Döden projicerad på väggen, med hjälp av en laterna magica där flera olika bilder snabbt kan visas efter varandra i samma ram. Illustration ur Athanasius Kirchers ”Ars Magna Lucis et Umbrae” (andra upplagan,1671).

1792 såg Robertson i Paris en laterna magica-föreställning, en ”Phantasmagorie” av magikern ”Paul Filidort” (även känd som Paul Phylidor/Philidor eller Paul de Philipsthal, och anses ha varit först med att ha använt namnet Phantasmagorie som benämning på immersiva multimedieföreställningar med skräck och ockultism som tema), och insåg med sina kunskaper i optik och fysik, kombinerat med konst och filosofi, mediets möjligheter att kunna utvecklas, och för honom själv att själv kunna bli rik och berömd på sina föreställningar.

Flyer som annonserar en Phantasmagorie av Paul Philidor i Wien 1791. I föreställningen ingick frammaning av andar, ”i alla storlekar och former”.

När Robertson öppnade sin första egna Phantasmagorie, på Pavilion de l’Èchiquier i Paris, fylldes de 60 platserna i salongen snabbt. Publiken var överväldigad. Robertsons makabra föreställningar passade bra in i den oroliga stämning som vid denna tid rådde i Paris, i slutfasen av den franska revolutionen. På Pavillon de l’Echiquier kom Robertson att ytterligare förfina och vidareutveckla teknikerna för projicering genom laterna magica. Genom att placera och föra runt en laterna magica på hjul, kunde han skapa både effekten av en rörlig bild, och en bild som ändrade storlek, och därmed tycktes komma närmare eller längre bort ifrån publiken. Han myntade själv begreppet ”Fantaskop” som namn på den rörliga laterna magican.

Robertsons fantasmagorier bestod emellertid inte enbart av tekniska effekter. Robertson själv, enligt dåtidens ögonvittnen svartklädd, mager och blek, inledde föreställningen med filosofiska spekulationer kring liv, död och återuppståndelse innan han släckte ljuset i salongen. I mörkret kastade han magiska ingredienser (som förutom torkade fjärilar, blod och fågelfjädrar kunde innehålla mera världsliga pyrotekniska ingredienser som forsfor och vitriol) på glödande fyrfat, som flammade upp med en tät rök där andarna kunde visa sig. Det monotona ljudet av en glasharmonika hade en närmast hypnotisk effekt på publiken; avbrutet av åska, blixtar, demoner och skelett som tycktes både flyga mot och ifrån publiken. I föreställningen användes även galvanism; denna nya, mystiska kraft som temporärt kunde återge döda kroppar (eller åtminstone grodlår) liv och rörelse.

Samtida illustration av Robertsons Phantasmagorie

Robertson använde sig av genomskinliga bilder på svart bakgrund, för att i mörkret kunna skapa illusionen av fritt svävande övernaturligheter när bilderna projicerades på rök och tunn gasväv. Han använde sig också av flera fantaskop och laterna magicor, placerad runt om i lokalen, för att kunna befolka hela rummet med flygande övernaturligheter. Bilderna kunde projiceras genom rök för att framstå som otydliga, och genom att snabbt röra dem genom projektorn skapades illusionen av hastiga rörelser. Tillsammans med sina assistenter åstadkom Robertson dessutom anderöster och spökskrik.

Hur övertygande var Robertsons projicerade spöken? Enligt samtida betraktare var de realistiska (i den mån nu spöken kan vara det), och till upplevelsen bidrog både hela stämningen i dåtidens revolutionsdrabbade Paris, och Robertsons egen förmåga att med sin berättarkonst trollbinda publiken. En immersiv upplevelse blir aldrig bättre än sin story; varken nu eller i 1790-talets Paris.

Efter närmare sex år av framgångsrika, och alltmer elaborerade föreställningar tvingade myndigheterna Robertson att stänga sin show. Orsaken till detta är oklar; enligt en reporter som deltog i en Phantasmagorie hade Robertson fått frågan om han kunde frambesvärja spöket av Louis XVI (som på morgonen den 21 januari 1793 hade giljotinerats på Place de la Révolution, efter att ha dömts till döden för landsförräderi med 361 röster mot 360). Robertson skall då ha svarat att han före revolutionen hade formeln för att göra detta, men att formeln nu gått förlorad och det inte längre var möjligt att frammana spöken av franska kungar. Robertson själv hävdade att han aldrig sagt detta, men myndigheterna stängde showen ändå. Den hemliga polisen genomsökte lokalen, utan att hitta varken olagligheter eller spöken, men Robertson tilläts ändå inte att återuppta sina föreställningar. Robertson själv ironiserade över att den hemliga polisen mest tycks söka efter spöken och skuggor, för att kunna förvandla dem till verklighet.

Sedan reste Robertson till Bordeaux, där han gjorde sin första ballonguppstigning. När han ett år senare återvände till Paris, inhyste Pavilion de l’Èchiquier en konkurrerande fantasmagoriföreställning, driven av lokalens ägare och två av Robertsons tidigare assistenter. Robertson bestämde sig då för att återuppta sina fantasmagorier – fast i ännu större skala. Dessutom inledde han en rättslig process mot sina tidigare assistenter.

Robertson återupptog sina föreställningar i det övergivna capucinerkonventet vid Place Vendôme, som han inredde för att efterlikna ett underjordiskt kapell. Kapucinerkonventet hade byggts 1688, men hade övergivits av nunnorna i samband med att franska revolutionen bröt ut 1789. Konventet hade sedan snabbt förvandlats till en spöklik ruin, där det enligt samtida vittnen låg hundratals trasiga gravstenar utanför klosterkyrkan – med andra ord den perfekta bakgrunden för att låta osaliga andar stiga fram. Robertson höll sin första föreställning i Convent des Capucines den 3:e januari 1799, klockan 19.30. Lokalen var försänkt i totalt mörker, och Robertson låste dörrarna för att ingen i publiken skulle kunna gå därifrån innan föreställningen var slut. Konventet var inrett som en förvirrande labyrint av mörka gångar, fyllda av skrämmande ljud och skepnader, och besökarna fick känslan av att ha gått ner i en underjordisk krypta, när de i själva verket befann sig i det tidigare köket, i markplan. Fantasmagorierna i capucinerkonventet blev omåttligt populära, och pågick i fyra års tid.

Phantasmagorie i Convent des Capucines

Robertson var inte utan konkurrens, och efter år av rättsliga processer förlorade Robertson både ett försök att stämma sina tidigare assistenter för att ha använts sig av hans tekniker, och ett försök att få sina tekniker patenterade. Detta eftersom Robertson använt sig av befintlig teknik på nya sätt, och inte uppfunnit grundtekniken för t.ex. laterna magica själv.

1803 lämnade Robertson Paris, och ägnade sig därefter huvudsakligen åt ballongflygning; även om han som dåtidens ledande auktoritet på fantasmagorier emellanåt höll enstaka föreställningar, och 1814 gjorde en storslagen comeback i Paris. Att berätta mer om Robertsons fortsatta framgångsrika internationella karriär som ballongflygare, där han satte höjdrekord i Hamburg 1803, genomförde Sveriges första ballonguppstigning i Stockholm 1806, och följde med den ryska ambassadören för att visa ballongteknik i Kina på 1820-talet, vore dock att sväva iväg alltför långt från ämnet för detta inlägg.

Även när fantasmagorier som konstform tappade sin popularitet, och slutligen ersattes av biografer i 1900-talets början, fortsatte samma tekniker att användas inom annan scenkonst; teater, cirkus, trollerier, opera och varietéer, samt som specialeffekter i tidiga skräckfilmer och trickfilmningar. Säkerligen också i en och annan fejkad seans. Robertsons fantasmagorier lär också ha varit först med att skapa en illusion av rörelse genom att zooma ut och in i bilder genom att flytta projektorn i djupled – en teknik som föregrep 1900-talets filmkameror.

Vad kan då en nutida skapare av immersiva upplevelser lära sig av Robertson och 1700-talets skräckteater? Robertson var långt ifrån ensam om att iscensätta fantasmagorier – konstformen var populär, och det fanns många fler utövare i både Europa och Amerika. Men hans föreställningar stack ut, och det är hans namn som nu är synonymt med fantasmagorier medan de flesta av konkurrenterna är glömda. Dels låg Robertson i framkant med tekniken, och hans egna gedigna kunskaper inom fysik och optik, kombinerat med konstnärligt handlag, gjorde att den tekniska och konstnärliga kvalitén på föreställningarna var hög. Men lika viktigt var hans unika, suggestiva sätt att presentera, och leda publiken genom föreställningarna. Han presenterade inte föreställningarna som ”riktiga” seanser. Samtidigt inte heller som ren fiktion. Robertson behärskade berättandets medium lika väl som teknikens. Hans fantasmagorier bjöd på en blandningen av vetenskap, i ett särskilt ”Cabinet de Physique”, där illusioner med hjälp av optik och galvanism rörde om i besökarnas varseblivning, och en överväldigande totalupplevelse av mytologi, filosofi, religion och skräck. Under en föreställning mer eller mindre bokstavligen bombarderades publiken med makabra figurer och scener – med referenser till såväl klassisk mytologi och Shakespeare, som den aktuella franska revolutionen, kombinerat med ett persongalleri som än idag utgör stapelvara i skräckens menageri. Med inslag av skenbara förvandlingar av levande människor till multnande skelett, som ett animerat Memento Mori. Förutom skelett och oformliga andar kunde publiken bland mycket annat få se en Blödande Nunna, en Dödgrävare, en Häxsabbat, Medusas Huvud, Öppnandet av Pandoras Ask, Macbeth och Bancos Vålnad, samt de blodiga vålnaderna av Robespierre och Marat. Men… det läskigaste av allt sparade Robertson till sist, och avslutade med orden:

Jag har visat er det mest ockulta som naturfilosofin har att erbjuda, saker som förefallit övernaturliga i godtrogenhetens tidsåldrar. Men se nu den enda riktiga skräcken, se vad som väntar er alla; vad var och en av er en dag kommer att bli: Kom ihåg Phantasmagorie!

Sedan tände han en begravningslykta i den mörklagda kryptan, och lyste upp skelettet av en ung kvinna på en piedestal.

Berättaren Robertson behärskade sitt hantverk. Storytelling, kallar man det idag. Men oavsett språket, så äger döden till slut oss alla – nu som 1799 i Paris.

Robertsons grav på Cimetière du Père-Lachaise. Foto: Viktor Lindbäck CC-BY

Latent History – a machine dream of a Stockholm that never was

Screenshot of a video recording of Latent History as displayed at Fotografiska, Stockholm.
Screenshot of a video recording of Latent History as displayed at Fotografiska, Stockholm. Copyright: Refik Anadol, All rights reserved.

Introducing Refik Anadol and Latent History

Refik Anadol is a media artist and director born in Istanbul, Turkey in 1985. His media installation ”Latent History” was exhibited at Fotografiska in Stockholm earlier this summer. Latent History takes the viewer on a journey through a beautiful and immersive experience projected on a 55 metre-wide by 3.5 metre-high screen in Fotografiska’s large exhibition hall. It’s a never-before-seen portrayal of Stockholm, as envisioned by machines, using algorithms revealing an alternate history found in archives and old photographs stretching back 150 years. You can get a sense of the experience by watching the video below (made by Refik Anadol and published with his permission).

As the images were drawn from K-samsök/Swedish Open Cultural Heritage I contacted Refik to interview him about his art, how it is created, and how and why he used K-samsök as a source. Note that the interview has been condensed for brevity and Refik’s answers are not quoted verbatim unless explicitly stated.

My interview with Refik

Why did you become an artist? And why did you choose to work with digital art?
Refik tells me he thinks a major reason for his interest in becoming an artist was watching Blade Runner when he was eight years old. The images of a future and futuristic city sparked his imagination. His mom later gave him his first computer, a Commodore 128, and he believes it, and Blade Runner, may be why he chose to do digital art. His focus as an artist is on urban spaces, futurist spaces, and to use computation, data and light to imagine, and make the invisible visible.

In regards to Latent History specifically – can you tell us a little bit about that artwork and how it came about? Why Stockholm, why machine learning and computer vision, and why use, in parts, archival imagery as a basis for your own work?
Three years ago Refik had the opportunity to be an Artist in Residence at Google Arts & Culture. It was there that he first started working with machine learning and AI and realised its potential. During his residency he created a projection experience onto to the LA Phil’s Walt Disney Concert Hall (you can get a sense of that experience here, and learn more how it was made here). Since then he has continued to explore the potential of machine learning and AI as tools to support the creation of media art experiences. He’s begun to ask the question: can machines dream?*

Fotografiska in Stockholm were also interested in exploring AI and AI-generated imagery and invited Refik to create an experience for exhibition at their venue. One of the reasons Refik chose to work with archival imagery for his Latent History experience at Fotografiska was to explore memory, collective memories and urban space. He also wanted the experience to feel like ”Infinite Cinema”.

*Taking us back to Blade Runner: the book the film is based on is Philip K. Dick’s ”Do Androids Dream of Electric Sheep?”.

How did you learn about Stockholmskällan, K-samsök and Europeana? How did you select which imagery to choose from them? How many images from them did you use in the end? Did you just sign up for an API-key just like any other third party developer?
When Refik and his team were invited to create something for Fotografiska they began to research what sources of historical imagery are available for Stockholm. That was when he learned of Stockholmskällan, K-samsök/SOCH, and Europeana. For K-samsök and Europeana his team just applied for/signed up for API-keys and started to work with the imagery. Stockholmskällan they had to scrape. Latent History used about 23 000 images of Stockholm, most of them drawn from K-samsök and Europeana. As they wanted to focus on Stockholm as an urban space, its form and architecture, they tried to select imagery where there were few are humans shown. They also made sure to select a few images of Stockholm at sunrise and sunset, to give a sense of the passage of time.

For archives, museums and libraries who would like to see their collections used in artistic works – what would be your advice to them in order for that to happen more often?
The first thing Refik mentions is for libraries, archives and museums to offer (user-)friendly APIs and easy access to data. Easy to sign up for, returning images that are free to reuse for artistic purposes.

The second is to offer residencies to artists. Invite them to come and work at your institution, together with your employees, and with your collections. Refik values his residency at Google Art & Culture very highly and believes it’s a good format that others can follow.

The third is related to the first and second: beyond having an API or otherwise releasing your content for reuse invite artists to co-creation workshops, with the collections experts of your institution. The more an artist understands what is in the collection, the more they can do with it:”knowledge is [an artist’s] pigment”.

In this context Refik also mentions the challenge of learning just what is available in a large archive. How do you know what is there? No search bar can tell you and he thinks artworks, or other visualisations, can help artists better understand what’s in a collection and make using its contents to create new works easier. The underlying design metaphor for large archives needs to ”go beyond shelf design”, beyond a direct translation of the analogue to digital.

Digital art has been around for a while, almost as long as there has been computers! How do you see it changing in the coming years?
Here Refik answers that in the coming 5 years or so he thinks we will see radically improved algorithms, especially in regards to GANs (Generative Adversarial Networks). This is an area in rapid development already. He also thinks we’ll see new hardware that makes it possible to crunch ever increasing amounts of images e.g. graphic cards specialised for machine learning/AI and even quantum computing.

Together that should allow AIs/machines to delve deeper into ever larger collections of images and increase the verisimilitude of the virtual architectural space and allow us to “fly inside the mind of a machine”.

More about Refik Anadol
Refik Anadol is a media artist and director born in Istanbul, Turkey in 1985. Currently he lives and works in Los Angeles. He is a lecturer and visiting researcher in UCLA’s Department of Design Media Arts. He works in the fields of site-specific public art with parametric data sculpture approach and live audio/visual performance with immersive installation approach, particularly his works explore the space among digital and physical entities by creating a hybrid relationship between architecture and media arts with machine intelligence. He holds a Master of Fine Arts degree from the University of California, Los Angeles in Media Arts, a Master of Fine Arts degree from Istanbul Bilgi University in Visual Communication Design, as well as a Bachelors of Arts degree with summa cum laude in Photography and Video.