Tecnologie Cognitive e della Comunicazione

ITC-IRST

I-38050 Povo - Trento

petrelli@itc.it

HyperAudio: http://ecate.itc.it:1024/projects/hyperaudio/

Quando lavorano all?organizzazione di una mostra, i curatori di un museo cercano di evidenziare nella disposizione spaziale degli oggetti la struttura semantica del racconto che vogliono comunicare ai visitatori, ad esempio scegliendo argomenti simili per sale attigue, o riportando una sequenza temporale nella sequenza delle sale. Così facendo l'organizzazione del museo propone uno o più percorsi che ritiene validi per il "visitatore medio". Ovviamente questi suggerimenti di visita non necessariamente soddisfano il punto di vista di ogni singolo fruitore del museo: il doversi uniformare ad una ipotetica media rischia di banalizzare o trascurare alcuni aspetti che potrebbero essere invece di estremo interesse per un visitatore appassionato dell?argomento. Infatti, la visita "ideale" ritaglia il percorso semantico più adatto rispetto ad interessi e necessità del visitatore. Per contro, chi intenda realizzarla rischia di "perdersi", di entrare più volte nella stessa stanza o di tralasciare opere per lui significative.

HyperAudio è un progetto di ricerca che mira alla costruzione di una guida elettronica portatile che crea dinamicamente presentazioni adattate, nel contenuto e nella forma, alle esigenze del visitatore. Per far questo HyperAudio segue i movimenti del visitatore all'interno dello spazio espositivo e tiene conto dell'interazione fino a quel momento.

Questo articolo riporta l?esperienza fin qui fatta.

I risultati ottenuti in HyperAudio hanno contribuito a lanciare il progetto Europeo HIPS che esplora scenari interattivi più ricchi utilizzando una strumentazione più sofisticata.

I musei, le città d?arte, i luoghi storici o archeologici hanno intrinsecamente associato uno spazio informativo. Uno spazio informativo può essere definito come un insieme di pezzi disparati di contenuti legati gli uni agli altri in modo più o meno forte a formare una sorta di rete ipertestuale. Parti di questa rete sono associate agli oggetti nello spazio fisico. Ad esempio i rettili possono essere descritti per caratteristiche generali, secondo lo sviluppo evoluzionistico, rispetto al loro ciclo di vita e così via. Entrando nella sala dei rettili di un Museo di Scienze Naturali, i visitatori esplorano questo ricco spazio di informazioni.

È facile osservare come, per analogia, il movimento fisico del visitatore all?interno della sala dei rettili corrisponda ad un movimento nello spazio delle informazioni associato. La peculiarità di sovrapporre una struttura ipertestuale ad uno spazio fisico genera modi nuovi di navigare l?informazione:

• muovendosi all?interno dello spazio fisico, avvicinandosi alle teche, il visitatore implicitamente seleziona un punto significativo dell?ipertesto;
• analogamente ad una navigazione negli ipertesti, il visitatore può esplorare la sottorete che corrisponde all?oggetto cui è di fronte prima di proseguire la visita nella dimensione fisica avvicinandosi ad un nuovo oggetto.

La visita ad un museo è quindi un percorso che tocca luoghi fisici (stanze, oggetti) e luoghi semantici (i diversi temi, le descrizioni) [3]. Questa ambivalenza si riflette anche nei passi che lo compongono che sono fisici o semantici a seconda dallo spazio in cui vengono fatti.

L?apparente contrasto tra questi due mondi scompare però quando questi vengono fusi in un unico spazio complesso dove i movimenti fisici del visitatore sono interpretati alla stessa stregua dei movimenti nello spazio ipertestuale.

Considerare il museo come uno spazio complesso composto da una parte fisica ed una ipertestuale consente di trasformare il museo classico in un museo aumentato, cioè un luogo dove il visitatore muovendosi liberamente interagisce con lo spazio informativo (fig.1).

Fig.1 La visita in un museo aumentato.

In generale i computer-augmented environments integrano sistemi elettronici nel mondo fisico [2]. Questa disciplina, emersa recentemente dalla confluenza di esperienze diverse ed eterogenee, si basa su due assiomi: il primato della realtà e la costruzione di strumenti che accrescano le attività quotidiane. In questo modo l?ambiente quotidiano diventa parte integrante del sistema: esso continuerà ad essere percepito come sempre, ma avrà nuove funzionalità dovute alla presenza del computer.

In quest?ottica, un museo aumentato consente di mantenere inalterata l?esperienza fisica della visita, ma sfrutta il computer per migliorare e potenziare quest?esperienza. Il visitatore di questo nuovo museo è equipaggiato con un computer palmare (o PDA, Personal Digital Assistant), dotato di un sistema di localizzazione, ed indossa cuffie per ascoltare le descrizioni rilevanti. Sullo schermo vengono presentati gli agganci per le eventuali esplorazioni nell?ipertesto. Quando il visitatore si avvicina ad una teca, il sistema automaticamente interpreta questo movimento come un implicita selezione di informazione e propone una descrizione adeguata.

L?interpretazione del comportamento del visitatore non è limitato all?avvicinarsi ad una teca, ma può essere esteso all?ampia varietà dei movimenti fisici nello spazio. Così il restare per lungo tempo di fronte ad un oggetto indica interesse, l?allontanarsi mentre una descrizione è in corso disinteresse o stanchezza.

La possibilità di considerare oltre alla esplicita interazione del visitatore che seleziona gli approfondimenti sullo schermo del PDA anche gli aspetti impliciti di interazione con il museo dovuti agli spostamenti fisici, permette al sistema di utilizzare una vasta gamma di informazioni per costruire le presentazioni. HyperAudio sfrutta infatti le informazioni riguardanti la localizzazione, la storia dell?interazione e le ipotesi sulle caratteristiche del visitatore per comporre dinamicamente la presentazione più adatta a quella persona, di fronte a quel particolare oggetto all?interno di un certo percorso di visita (fisico e virtuale).

Interagendo sia con lo spazio fisico che con il PDA, il visitatore implicitamente (muovendosi) o esplicitamente (con la penna sullo schermo) fornisce input al sistema che dinamicamente adatta la nuova presentazione. Una presentazione di HyperAudio è composta da: (i) una sequenza di file audio; (ii) un insieme di link rilevanti; (iii) un?immagine legata all?oggetto descritto o una mappa orientata che mostra la posizione del visitatore.

Per consentire all?utente di concentrarsi maggiormente sull?oggetto, la parte saliente del contenuto della presentazione viene comunicato usando messaggi audio. Questa modalità è anche usata dal sistema per orientare l?attenzione del visitatore. Inoltre suggerimenti audio possono essere usati dal sistema per segnalare al visitatore interessato la disponibilità di approfondimenti interessanti che potrebbero essere involontariamente trascurati.

Una guida efficace deve presentare ogni pezzo di informazione come parte di un unico racconto, non come descrizioni separate. Questo non è un compito facile quando si vuol lasciare libero il visitatore di seguire l?inclinazione del momento. Infatti la libertà di movimento non permette di preparare in anticipo un racconto poiché non è detto che il visitatore segua il percorso proposto. Così HyperAudio costruisce dinamicamente ogni presentazione come parte di un discorso che si sviluppa parallelamente al percorso (fisico e virtuale) di visita. In questo modo se un visitatore ritorna ad un oggetto già visto il sistema non presenta la stessa informazione, ma, piuttosto, interpretando questo come interesse, propone un approfondimento sul tema.

La costruzione dinamica di ciò che verrà comunicato al visitatore può essere sfruttata per adattare la presentazione. Costruire un ipertesto dinamico e adattivo implica la selezione dinamica sia dei contenuti che dei link ritenuti rilevanti [1] poiché solo parte dell?intera rete è di interesse in ogni momento. Questa selezione è fatta sulla base del modello dell?utente, un modulo complesso che analizza le azioni dell?utente sul sistema e ne rappresenta, per esempio, interessi, conoscenze e profilo. Nel caso di HyperAudio, però, altri fattori diventano determinanti. Infatti oltre all?ovvio valore di una richiesta esplicita, è importante che il sistema deduca dal movimento del visitatore cosa interessa maggiormente o cosa può stimolarne l?attenzione. Inoltre la posizione del visitatore nel museo può essere un altro fattore discriminante. Quindi l?adatattività di HyperAudio ruota su tre cardini: il modello dell?utente, il contesto di visita e la storia dell?interazione. Ciascuna di queste ha un effetto sia nella fase di selezione dei contenuti sia nella resa finale.

La selezione delle informazioni da presentare viene fatta sulla base di: (i) il modello dell?utente, selezionando quei contenuti che enfatizzano l?interesse e le conoscenze acquisite; (ii) la posizione del visitatore all?interno del museo, che induce il sistema a selezionare descrizioni più o meno dirette al singolo oggetto; (iii) la storia dell?interazione, prediligendo nella selezione contenuti che possono essere confrontati o riferiti ad oggetti già visti.

Nell?attuale implementazione di HyperAudio, al visitatore viene dato un Newton MessagePad 130 dotato di cuffia sulla quale è montato un ricevitore di segnali ad infrarosso. Gli emettitori corrispondenti sono dislocati nell?ambiente in punti ritenuti significativi, ossia in corrispondenza di oggetti esposti, di accessi a sale, di corridoi.

La computazione è fatta completamente a bordo del Newton e, analogamente ad altri sistemi di realtà aumentata, si articola su di un ciclo:

• triggering: i movimenti del visitatore (cioè i segnali ad infrarosso ricevuti) vengono analizzati e filtrati per selezionare solo quelli effettivamente significativi;
• input analyses: l?input, esplicito o implicito, viene analizzato rispetto alla presentazione corrente (ad esempio se una presentazione è in corso) per stabilirne l?effetto sulla presentazione in corso o sulla successiva (goal comunicativo);
• composition: sulla base del goal comunicativo, del modello dell?utente, del contesto e della storia dell?interazione viene assemblata la presentazione selezionando i nodi rilevanti dalla rete ipertestuale (o rete dei macronodi, descritta qui sotto);
• presentation: i file audio vengono composti e trasmessi, la mappa ed i link di navigazione sono presentati sullo schermo.

La rete ipertestuale che contiene tutte le informazioni è organizzata a macronodi. Un macronodo è composto da un contenuto, espresso da un grafo di file audio o testo, più alcune informazioni accessorie, quali il concetto di riferimento o la posizione dell?oggetto cui corrisponde la descrizione. I nodi sono legati tra di loro da relazioni retoriche che legano i contenuti. In Fig.3 è riportato un frammento della rete. Si noti che più nodi contengono informazioni sulla salamandra, ma ciascuno di essi ha una diversa funzione indicata dal tipo; nell?esempio introduzione, descrizione, leggenda e comparazione con la lucertola [4]. All?atto della definizione della presentazione il sistema percorre la rete dei macronodi e, seguendo i legami retorici, seleziona i nodi ritenuti rilevanti.

Fig.3 Un frammento della rete dei macronodi.

La rete dei macronodi consente di organizzare l?informazione in nuclei autonomi, cioè ciascuno con un proprio significato compiuto, ed allo stesso tempo di allargare a parti opzionali (nodi correlati) in particolari contesti del discorso. Se per esempio il visitatore ha già visto la lucertola il sistema può proporre come presentazione della salamandra sia il nodo introduttivo che quello comparativo.

Gli ambienti aumentati sollevano interessanti sfide tecniche. Richiedono infatti una struttura complessa e distribuita, un allineamento preciso tra mondo reale ed elettronico e lo studio di nuovi dispositivi di input ed output. Parallelamente, però dovranno essere affrontati tutta una serie di temi che riguardano l?accettabilità personale e sociale.

Anche un progetto come HyperAudio pone degli interrogativi riguardanti l?accettabilità di un museo aumentato, cioè quanto una guida in grado di reagire al comportamento del visitatore possa essere valutata positivamente. Non è infatti assolutamente scontato che un computer che abbia una iniziativa propria (che cioè propone una presentazione senza che questa sia stata richiesta) sia uno strumento facilmente accettato da tutti. Riveste quindi un aspetto importante la capacità di proporre diversi livelli di interattività passando da un sistema propositivo (presentazioni sulla base dei movimenti), ad una situazione in cui il sistema suggerisce e l?utente sceglie (segnalazione di informazioni disponibili), ad un controllo completo da parte dell?utente (presentazioni solo su richiesta).

Un secondo punto importante da verificare sul campo riguarda le informazioni di movimento di cui HyperAudio fa un uso importante. Infatti è necessario che le deduzioni del sistema riflettano effettivamente il "significato" del comportamento del visitatore, sia esso conscio o inconscio. In altre parole, se il sistema considera lo stare di fronte ad un oggetto come un indicatore di interesse, è necessario verificare che questo lo sia effettivamente ed è altrettanto necessario determinare qual è l?intervallo significativo.

Un riscontro completo delle scelte fatte non può prescindere dalla rappresentazione che il sistema si costruisce del visitatore corrente. L?efficacia di un sistema adattivo si basa ovviamente sul modello dell?utente e sulla reale rispondenza del messaggio finale alle esigenze d?uso. Questo è valido anche nel caso di HyperAudio. In questo contesto, un modello d?utente valido è quello che consente di catturare i tratti salienti del visitatore da pochi elementi. Infatti il contesto di utilizzo non permette che vengano richieste lunghe compilazioni di questionari iniziali per definire un profilo preciso. Analogamente, poiché l?utente sarà assorbito dalla visita, le interazioni volontarie possono essere poche e slegate. Inoltre l?efficacia di una guida è indissolubilmente legata alla funzione del museo. La letteratura del settore riporta che i musei di scienze sono efficaci nell?apprendimento informale, ossia quando "si impara senza accorgersene e divertendosi". HyperAudio deve quindi essere in grado di costruire presentazioni che coinvolgano i visitatori. In questo i testi hanno una funzione centrale. Infatti, pur essendo secondari all?esperienza fisica, sono indispensabili per trasformare l?esperienza visiva in conoscenza acquisita.

Questi due aspetti, pervasività della tecnologia e significato della realtà, sono in effetti le due facce della medaglia della realtà aumentata. Sebbene studi preliminari [5] abbiano dato risultati decisamente interessanti ed inaspettati, una risposta esaustiva ad entrambe i quesiti si potrà dare solo quando il primo prototipo di HyperAudio potrà essere sperimentato con visitatori reali nel Civico Museo (Aumentato) di Rovereto nell?estate del 1999.

L?autrice desidera ringraziare tutte le persone che a vario titolo hanno contribuito al progetto, in particolare i colleghi Elena Not, Marcello Sarini, Carlo Strapparava e Massimo Zancanaro ed i collaboratori Antonella De Angeli e Gregorio Convertino. Un riconoscimento va inoltre al Museo Civico di Rovereto (TN) per il supporto logistico.

[1] Brusilovsky P. Methods and techniques for adaptive hypermedia User Modeling and User Adapted Interaction, v 6, n 2-3, 1996.

[2] Communication of the ACM Computer Augmented Environments: Back to the Real World, v 36, n 7, July 1993.

[3] Not E., Petrelli D., Stock O., Strapparava C., Zancanaro M. Augmented Space: Bringing the Physical Dimention into Play Flexible HyperText Workshop (in concomitanza con The 8th ACM Conference on Hypertext and Hypermedia 1997), 6-7 Aprile 1997.

[4] Not E., Zancanaro M. Content Adaptation for Audio-based Hypertexts in Physical Environments The 2nd Flexible HyperText Workshop (in concomitanza con The 9th ACM Conference on Hypertext and Hypermedia).

[5] Petrelli D., De Angeli A., Convertino G. Analysing Visiting Preferences and Behaviour in Natural History Museums IRST Technical Report. ref. No. 9812-01, 1998.