Tecnologias de Vídeojogos

Um vídeo que, apesar de já ter algum tempo, revela as potencialidades da combinação de tecnologias usadas em jogos (computação baseada em gestos, realidade aumentada e reconhecimento facial) e o papel que podem ter no desenvolvimento de Serious Games:

Gesture Based Computing

A computação baseada em gestos (gesture-based computing) foi apontada no Horizon Report 2011 como uma das tecnologias a ter impacto na educação num horizonte de 4 a 5 anos. Esta tecnologia procura desenvolver formas de interacção com equipamentos electrónicos baseadas em gestos naturais, evitando as formas tradicionais baseadas em teclados, ratos e dispositivos similares (ver também este post). Alguns desses gestos naturais estão já até patenteados. Exemplos de equipamentos que tiram partido da computação baseada em gestos são a Microsoft Surface ou a Gesture Tek illuminate.

Aplicações de computação baseada em gestos encontram-se também já na interacção com o ecrã táctil de um smartphone ou de um tablet para além de aplicações vindas da indústria dos vídeojogos, concretamente as consolas Nintendo Wii ou o sistema Kinect da Xbox. O potencial destes sistemas vai para além da aplicação apenas ao universo dos vídeojogos. No caso do Kinect, para além da aplicação referida no post anterior, o sistema tem também sido aplicado no campo da moda: a ARDOORMoscow criou um provador virtual usando este sistema.  Nesta proposta, um utilizador pode, dentro da loja, ver uma imagem sua com uma determinada peça de roupa sem ter de a vestir efectivamente. 

O Kinect foi igualmente aplicado noutro projecto semelhante, o KinectShop promovido pela empresa Razorfish, uma empresa de marketing que opera sobretudo nos media digitais. O KinectShop é também um provador virtual que permite a partilha de fotografias digitais aumentadas com a peça de roupa que o utilizador usa virtualmente. O KinectShop disponibiliza um QRCode que o utilizador pode ler com o seu smartphone de forma a poder levar consigo a imagem aumentada. Essa imagem pode ainda ser partilhada em redes sociais como o Facebook.

Apesar destes exemplos nada terem a ver com educação permitem revelar o potencial da computação baseada em gestos. A sua importância para o sector da educação pode ser acompanhada pela iniciativa promovida pela NITLE Prediction Market que analisa, tendo em conta o Horizon Report 2011, as  tendências das opiniões dos participantes  no inquérito Which features of gesture-based computing will educators use most frequently in 2011? na lógica de funcionamento um mercado (de acções).

A importância e a evolução da computação baseada em gestos assim como os princípios de funcionamento do Kinect são revelados pela apresentação abaixo de Andrew Blake, da Microsoft, Learning with Kinect & the future of human-computer interfaces na Learning Without Frontiers:

Carrinho de Compras com Kinect

Uma forma de  usar as tecnologias associadas aos videojogos para outros fins que não o mero entretenimento é o projecto wi-Go. Este projecto foi desenvolvido por um aluno do curso de Engenharia Informática da Universidade da Beira Interior, Luís de Matos, que venceu o prémio WinUBI da sua universidade. O wi-Go usa o sistema Microsoft Kinect para controlar um carrinho de compras por parte de uma pessoa com deficiência que se desloque numa cadeira de rodas. O sistema permite que um carrinho de compras adaptado siga a cadeira de rodas facilitando a deslocação numa superfície comercial. Existe pouca informação disponível sobre os detalhes do projecto mas o vídeo (onde aparece Luís de Matos) é elucidativo sobre as suas potencialidades. Um bom exemplo de gesture-based computing (computação baseada em gestos) usando tecnologia facilmente acessível.

wi-GO Project from Luis de Matos on Vimeo.

Wiki Augmented Reality in Education

No seguimento do post anterior é essencial ler o wiki Augmented Reality in Education de Karen Hamilton, professora no George Brown College (partilhado no Twitter por @rscapin). É provavelmente a melhor e mais completa fonte de informação on-line sobre Realidade Aumentada e em particular, sobre as suas aplicações na área da educação.

São feitas várias referências ao Horizon Report 2011, já mencionado aqui, que indica a Realidade Aumentada como uma das tecnologias com impacto na educação num horizonte de 2 a 3 anos.

Interessante também ver as apresentações da mesma autora The Potential of Augmented Reality for Education e Augmented Reality in Education que resumem, no essencial, o conteúdo do wiki no que toca à educação.

Realidade Aumentada

A realidade aumentada ou, numa perspectiva mais generalista, a realidade mista (real/virtual) já foram abordadas aqui (ver o post Mundos Virtuais, Realidade Aumentada e Realidade Virtual). Uma boa introdução ao tema da realidade aumentada pode ser encontrada no vídeo seguinte,

Muitas das aplicações de realidade aumentada tiram partido de etiquetas bidimensionais (tags 2D), com o por exemplo, os QR Codes, cada vez mais populares e que também já foram referidas no post QR Codes na Educação onde se abordou a sua aplicação para fins pedagógicos.

Marcadores equivalentes são também os que resultam da aplicação do Popcode. Este é também um marcador bidimensional desenvolvido pela Universidade de Cambridge. O Popcode funciona de forma idêntica aos QR Codes: com a câmara de um smartphone, enquadrando o símbolo abaixo, obtém-se no ecrã uma imagem de realidade aumentada, ou seja, o cenário que existe de facto e que é visualizado pela câmara do smartphone, acrescentado com objectos virtuais.

Para testar o Popcode basta descarregar um documento de demonstração (Popcode Demo Book) e instalar a aplicação no smartphone (p.e. iPhone 3GS ou iPhone4). O Popcode é uma plataforma de Markerless Augmented Reality, ou seja, não é necessário uma etiqueta (um QR Code, por exemplo) com a informação adicional. O símbolo é necessário para informar sobre a existência de conteúdo adicional associado ao objecto que a possui. Quando o símbolo é identificado pela câmara, a aplicação descarrega a informação adicional (a realidade aumentada) que surge no ecrã em sobreposição com o cenário real. É disponibilizado o software necessário para gerar conteúdos para a plataforma.

O MagicSymbol é outra proposta semelhante da empresa britânica Inition. Nesta plataforma, a partir de um câmara ligada a um monitor com um computador a correr o software, é possível sobrepor objectos virtuais em cenários reais. O utilizador necessita de apresentar à câmara um marcador para definir o local onde a imagem virtual será sobreposta. 

Esta tecnologia foi já usada em Portugal pela Portugal Telecom, em Junho de 2009, na apresentação da nova imagem da empresa. Os casos de estudo de aplicação da plataforma situam-se sobretudo na área do marketing.

Em termos de novidades tecnológicas no campo da realidade aumentada, a Sony apresentou em  Maio de 2011, o sistema SmartAR que não necessita de quaisquer marcadores (Markerless Augmented Reality), recorrendo ao reconhecimento de objectos reais para adicionar o conteúdo virtual. A tecnologia destina-se à aplicação nas plataformas móveis de jogos tendo a vantagem de poder ser usada em ambientes fechados onde não é possível recorrer a sinais de GPS para acrescentar os conteúdos. A tecnologia SmartAR reconhece as características distintivas dos objectos e a sua orientação para sobrepor os novos conteúdos. Apesar de estar em japonês, vale a pena ver este vídeo que demonstra a tecnologia.

A realidade aumentada tem também dado contributos no campo da moda. Uma marca de vestuário coloca QR Codes junto de peças de roupa que, ao serem identificados pela aplicação de leitura a correr num smartphone, permitem accionar o botão "Gosto" do Facebook, colocando um post no mural  do utilizador. Neste caso, a realidade aumentada é combinada com o poder das redes sociais. Também no campo da moda a ARDOORMoscow criou um provador virtual usando o sistema Kinect da Xbox  Nesta proposta, um(a) utilizador(a) pode ver uma imagem sua com uma determinada peça de roupa sem ter de a vestir efectivamente.

De que forma é que estas propostas, sobretudo na área do marketing, têm interesse para o sector da educação?

Primeiro, têm aplicação em consolas de jogos (SmartAR) ou tiram partido delas (provador virtual) enriquecendo as experiências de utilização destes equipamentos. As potencialidades dos videojogos e das suas plataformas de suporte já foram, por exemplo, abordadas aqui. Os QR Codes e outros sistemas semelhantes (MagicSymbol, Popcode) têm aplicação no campo dos equipamentos móveis cujo potencial no ensino também já aqui foi referido: Mobile Learning e Mobile Learning no VII Seminário E-learning - TecMinho.

Em segundo lugar, a convergência de diversas tecnologias (móveis, realidade aumentada, computação baseada em gestos, etc) e tendências (redes sociais) alavanca o poder dos videojogos e alarga o seu leque de aplicações no sector da educação (ver Game-based Learning: Convergência de Tecnologias).

Finalmente, vale a pena ler também o que alguns especialistas pensam sobre isto: Steve Wheeler, no seu blogue Learning with 'e's refere "The use of GPS in smartphones, working in concert with geo-specific social media such as Foursquare; the context aware systems now being introduced into museums and art galleries; QR tags and magic symbols; the Augmented Reality applications that are now proliferating - all of these and more are now avialable for teachers to exploit. We are merely limited to our own imaginations.". Aquilo que se pode fazer no ensino com estas tecnologias, isoladamente ou em conjunto, está apenas limitado pela imaginação dos professores. Claro que , entre estes, a adesão ao uso de tecnologias não é consensual, muitas vezes pelo esforço adicional que a aprendizagem de uma tecnologia implica. Noutro post, Excuses, excuses ..., Steve Wheeler lembra que, desde sempre, a introdução de uma nova tecnologia (desde as ardósias aos computadores), contou sempre com a oposição de parte dos professores. Mas, o uso das melhores e mais adequadas tecnologias não pode depender apenas da boa vontade e da disponibilidade dos professores para as aprender. Essas tecnologias devem naturalmente fazer parte do processo de ensino:

No excuses. If we deprive children of the best possible conditions for learning, we betray their future.