Extended Reality (XR,AR,AV,MR,VR)

Extended Reality (XR,AR,AV,MR,VR)

Extended Reality Technologien werden seit Jahrzehnten gut erforscht und seit kurzem werden sie in den Verbrauchermarkt eingeführt und in vielen Bereichen angewendet. Diese Technologien helfen dem Handel dabei, ein Online-Einkaufserlebnis mit der Qualität eines Einkaufs vor Ort zu verbinden, indem Verbraucher über die virtuelle Welt interagieren und Produkte ausprobieren können. Außerdem können Extended Reality Anwendungen genutzt werden, um Kundenerfahrungen im traditionellen Handel zu verbessern. Das tägliche Leben wird auch heute schon von Extended Reality Anwendungen beeinflusst. Vielen ist dies aber nicht bewusst.

Die Anforderungen an Automatisierung in diversen Bereichen der Arbeitswelt entwickeln sich rasant. Dabei erfordern wachsender Zeit- und Wettbewerbsdruck sowie die angestrebte Steigerung der Produktivität stetig technische Neuerungen und Weiterentwicklungen. Auch in der heutigen Zeit sind für viele Marktteilnehmer Begriffe die mit erweiterter Realität (Extended Reality) zusammenhängen Fremdwörter. Auch für technikaffine Menschen gilt dies, obwohl seit geraumer Zeit schon im Alltag Menschen mit diesen Technologien konfrontiert werden.

Extended Reality ist ein Querschnittsthema, welches sich in zahlreichen Branchen und etlichen unterschiedlichen Anwendungsfeldern wie Training, Assistenz, Produktentwicklung, Marktforschung oder Marketing einsetzen lässt. Das Technologiefeld ist zudem durch permanente technologische Innovationen geprägt, die ihrerseits Prozessinnovationen nach sich ziehen können.

Die Unterhaltungsbranche und die Spielindustrie haben wesentlich zur Verbreitung von Extended Reality beigetragen. Mit einer Spielekonsole, einem PC oder einem Smartphone ausgestattet ist es möglich, in virtuelle Welten einzutauchen oder sich digitale Informationen in der realen Welt anzeigen zu lassen. Durch diese Technologien können Informationen zur Verfügung gestellt werden und durch Bewegungssteuerung oder andere Steuermechanismen kann eine Interaktion mit der veränderten Umgebung stattfinden, um sich so z.B. spielerisch in die Rolle einer fiktiven Person zu versetzen. Auch in vielen Filmen werden schon seit langem erweiterte Realitäten verwendet. In diesen werden Menschen durch technische Innovationen in ihrem täglichen Leben unterstützt oder befinden sich komplett in fiktiven Welten.

Extended Reality (XR)

Der Begriff der Extended Reality (zu Deutsch: erweiterte Realität), im weiteren Verlauf XR abgekürzt, ist im Zuge der Entwicklung der Technologiebereiche als Oberbegriff definiert worden. Der Begriff XR beinhaltet alle reell und virtuell dargestellten Umgebungen sowie die Mensch und Maschine Beziehungen in diesen Bereichen. Dabei bezeichnet XR im Allgemeinen eine Erweiterung der natürlichen Umgebung eines Nutzers mit computergenerierten Hinweisen sowie das Eintauchen in virtuelle Welten. Die Ergänzung der Wahrnehmung der realen Welt um virtuelle Elemente kann in verschiedenen Formen stattfinden. Zu den XR-Technologien zählen u.a. Augmented Reality, Augmented Virtuality, Mixed Reality und Virtual Reality. Die relevanten Begrifflichkeiten des Technologiefeldes der XR sind weder selbsterklärend, noch werden sie einheitlich verwendet. Deshalb findet im Folgenden eine Betrachtung dieser Bereiche statt.

Augmented Reality (AR)

Augmented Reality (zu Deutsch: erweiterte Realität/ergänzte Realität), im weiteren Verlauf AR abgekürzt, ist ein wachsendes Gebiet in der XR-Technologie. Die uns umgebende Welt bietet eine Fülle von Informationen, die ein Computer nur schwer erzeugen kann. Bereits im Jahr 1994 wurden erste Begriffsdefinitionen für AR aufgestellt. So beschrieb Paul Milgram in seiner Arbeit Augmented Reality: A class of displays on the reality-virtuality continuum AR als eine Möglichkeit, die visuellen Wahrnehmungen des Menschen durch situationsgerechte computergenerierte Informationen zu erweitern. Ein AR-System erzeugt dabei eine zusammengesetzte Ansicht für Benutzer. Es ist eine Kombination aus der realen Umgebung, die der Benutzer betrachtet und einer vom Computer generierten virtuellen Szene mit Informationen. Der Betrachter sieht sich dabei eine reale Umgebung auf einem Display oder durch eine Datenbrille an und es werden dann Bilder, Texte oder virtuelle Objekte im Sichtfeld des Benutzers dargestellt. Dabei werden die realen und virtuellen Objekte zusammen in der realen Umgebung im Bezug zueinander angezeigt und ausgerichtet. Das Ziel dieser Technologie ist es, dass der Benutzer keinen Unterschied zwischen der realen Welt und den virtuellen Informationen erkennen kann.

Unter der Voraussetzung, dass AR in der aktuellen Forschung hauptsächlich eine Anreicherung des visuellen Sinnes bedeutet, hat Tümler folgende Merkmale für AR-Technologien definiert:

• Abbildung virtueller Elemente auf eine reale Situation (Kontextabhängigkeit)
• Echtzeitinteraktion des Anwenders mit realen und virtuellen Inhalten (Interaktivität)
• Darstellung der AR-Inhalte über computergesteuerte Anzeigegeräte (Visualisierung)

Bei der Betrachtung der AR spielt der Begriff Augmented Virtuality (zu Deutsch: erweiterte Virtualität), im weiteren Verlauf AV abgekürzt, ebenfalls eine Rolle. Dieser Begriff wurde von Milgram definiert, um Systeme zu identifizieren die meist synthetisch sind und denen einige Bilder der realen Welt hinzugefügt werden. Im Gegensatz zur AR besteht der Hauptteil der für den Nutzer angezeigten Umgebung aus virtuellen Objekten und nicht aus Elementen der realen Welt. Ebenfalls unterscheiden sich diese bei der Art der Visualisierung der beiden Technologien. Die Visualisierung der virtuellen Informationen wird dabei als kontextabhängig (AR-Systeme) und kontextunabhängig (AV-Systeme) unterschieden. In diesem Zusammenhang ist bei AR die wichtigste Visualisierungsart die kongruente Überlagerung. Virtuelle Elemente werden dabei mit Objekten der Umgebung lagesynchron verknüpft. Systeme werden dabei als kontextabhängig bezeichnet, wenn sich virtuelle Elemente wie Informationen auf ein zugeordnetes Element beziehen. Diese Unterscheidung verblasst, wenn sich die Technologie verbessert und sich virtuelle Elemente in der Szene immer weniger von realen Elementen unterscheiden lassen.

Mixed Reality (MR)

Mixed Reality (zu Deutsch: Vermischte Realität), im weiteren Verlauf MR abgekürzt, ist eine Kombination aus AR und AV. Mixed Reality umfasst die Verschmelzung der echten und der virtuellen Welt und schafft eine Umgebung, in der physische und digitale Objekte koexistieren. Dabei kann die Betrachtung sowohl kontextabhängig als auch kontextunabhängig erfolgen. Der Nutzer hat die Möglichkeit Objekte mit seiner Umgebung lagesynchron zu verknüpfen und mit diesen zu interagieren. Der wesentliche Unterschied zu AR und AV liegt in der Art der Interaktion. Zusätzliche Objekte oder Informationen werden im Sichtfeld des Nutzers über ein halbtransparentes Display in reale Szenen eingeblendet. Dieser kann über Gesten oder eine Sprachsteuerung mit den virtuellen Elementen interagieren.

Virtual Reality (VR)

Virtual Reality (zu Deutsch: virtuelle Realität), im weiteren Verlauf VR abgekürzt, ist eine computergenerierte Umgebung, bei welcher der Nutzer vollständig in eine künstliche Welt eintaucht. Die computergenerierte Umgebung kann dabei so nah an der Realität wie möglich liegen, oder aber frei von physikalischen Gegebenheiten und Einschränkungen sein. Durch den Einsatz von Head Mounted Displays und haptischem Feedback von Steuergeräten soll sich der Anwender als Teil der simulierten Umgebung fühlen. In der VR ist der Nutzer nicht nur Betrachter, sondern auch Teil der generierten Umgebung. Er kann sich interaktiv in der Welt bewegen, durch Kopfbewegungen die Blickrichtung beeinflussen und mit Hilfe von Controllern mit Objekten interagieren.

Abgrenzung

Der Unterschied zwischen VR und MR liegt in der jeweiligen dominanteren Umgebung, hauptsächlich aber im Grad der Immersion des Betrachters. Als Immersion wird das Maß für die Erfahrung des realitätsnahen Eintauchens in eine künstlich geschaffene Umgebung bezeichnet. Es handelt sich also um den hervorgerufenen Effekt, dass die virtuelle Umgebung als real empfunden wird. Um einen hohen Immersionsgrad zu erreichen, werden Benutzer visuellen und auditiven Stimuli ausgesetzt. Zunehmend werden auch haptische Sinneseindrücke durch Eingabegeräte und Ausgabegeräte simuliert, um den Grad der Immersion weiter zu steigern. Diese Kategorisierung steht in engem Zusammenhang mit der vom System verwendeten Hardwarelösung und den genutzten Inhalten. Jedes System vermittelt ein anderes Gefühl der Immersion. In einem AR-, AV- und MR-System kann dies irreführend sein, da bei einigen Anzeigegeräten ein Teil des Displays die direkte Sicht des Benutzers auf die reale Welt einschränkt. Bei AR-Anwendungen sollen meist virtuelle Informationen oder Objekte angezeigt werden, weshalb ein hoher Immersionsgrad nicht nötig ist. Bei VR-Anwendungen hingegen ist das Ziel, einen möglichst hohen Immersionsgrad zu erreichen.

Beispielhafte Einsatzzwecke von VR, AR, MR

In der Tabelle werden einige Beispiele für die Einsatzzwecke von VR, AR und MR dargestellt. Die in einer Zeile genannten Einsatzzwecke werden in dem links davon genannten Technologiebereich angewendet. VR kann z.B. für Unterhaltungszwecke, Spiele, Prototypen, Trainings oder Konferenzen genutzt werden. Beim Einsatz von AR finden sich Überschneidungen zu dem von VR, wozu u.a. Unterhaltungszwecke, Spiele und im Fall von Prototypen die Visualisierung von 3D-Objekten gehört. Navigations- und Assistenzfunktionen werden üblicherweise über AR-Anwendungen dargestellt, da diese zusätzliche Informationen für Situationen in der realen Umgebung liefern sollen. In einer Mixed Reality Umgebung werden komplexere Bereiche wie Flug- und Schifffahrtssimulationen durchgeführt.

Technologieorientierte Charakterisierung

Verschiedene Technologien werden für XR-Systeme zur Eingabe, Verarbeitung, Erfassung und Wiedergabe realer und computergenerierter Inhalte benötigt.

In der unteren Tabelle werden die unterschiedlichen technischen Komponenten den Kategorien zugeordnet dargestellt. Aufgrund der Vielfalt und der stetigen Entwicklung in diesem Technologiefeld handelt es sich um eine Momentaufnahme und bildet keine komplette Bestandsaufnahme.

Technische Komponenten von XR-Systemen

Wie der Tabelle zu entnehmen ist, gehören u.a. Kamerasysteme, Sensoren, Controller oder Tracking zu den Eingabetechnologien von XR-Systemen. Verarbeitet werden die Informationen mit Hilfe von Grafikprozessoren, Bildbearbeitungssoftware oder CAD-Software. Die Aus- bzw. Wiedergabe von XR-Inhalten kann dabei durch verschiedene technische Möglichkeiten realisiert werden. Dazu gehören für VR vor allem Head Mounted Displays oder CAVE-Systeme. Für AR/MR eignen sich hierfür Datenbrillen oder Displays.

Wichtige Begriffe im Zusammenhang mit Extended Reality:

1. Augmented Reality: (AR, erweiterte Realität, ergänzende Realität) Bezeichnet eine Schnittstelle zwischen Mensch und Maschine zur Ergänzung der Wahrnehmung der realen Welt um virtuelle Objekte und Elemente.
2. Augmented Virtuality: (AV, erweiterte Virtualität) Bezeichnet eine Schnittstelle zwischen Mensch und Maschine zur Ergänzung der Wahrnehmung einer virtuellen Umgebung um reale Objekte und Elemente.
3. Controller: Geräte, mit denen sich per Hand- oder Fingersteuerung durch die virtuelle Realität navigieren lässt oder mit denen Spiele bedient werden können.
4. Degrees of Freedom: (DoF), Freiheitsgrade, zwei- oder dreidimensionale Bewegungsmöglichkeiten im Raum.
5. Digitalisierung: Bezeichnung für die digitale Umwandlung und Darstellung bzw. Durchführung von Information und Kommunikation sowie die digitale Modifikation von Instrumenten, Geräten und Fahrzeugen.
6. Extended Reality: (XR, erweiterte Realität) Oberbegriff, der alle Realität und Virtualität dargestellten Umgebungen beinhaltet.
7. Haptisches Feedback: Dank der Haptik Funktion können Geräte und Controller den Nutzer spüren lassen, wenn dieser mit der virtuellen Welt interagiert. Dies kann mithilfe von einfachen Vibrationen bis hin zu ungefährlichen Stromimpulsen geschehen.
8. Head Mounted Display: (HMD), Ein kopfgetragenes Anzeigesystem, auch als Datenbrille bezeichnet; dient zur Anzeige computergenerierter Informationen im Sichtfeld eines Anwenders.
9. Head-up-Display: (HuD), Computergenerierte Objekte werden über einen Beamer auf die zu erweiternde Oberfläche projiziert.
10. Immersion: Das Eintauchen in eine virtuelle Welt. Die Wahrnehmung der eigenen Person in der realen Welt vermindert sich und die Identifikation mit einer Person in der virtuellen Welt vergrößert sich.
11. Industrie 4.0: Bezeichnung für ein Zukunftsprojekt der vierten industriellen Revolution zur umfassenden Digitalisierung der industriellen Produktion.
12. Mixed Reality: (MR, vermischte Realität) Bezeichnet die Verbindung der echten Welt mit virtuellen Welten. Es sind Umwelten oder Visualisierungen, in denen physische und digitale Objekte gemeinsam dargestellt werden und in Echtzeit miteinander interagieren. Z.B. nimmt eine reale Person in Form eines virtuellen Abbilds an einem Meeting mit anderen Personen teil.
13. Obsoleszenz: Bezeichnung für die in seiner Herstellungsweise, seinen Materialien oder Ähnlichem angelegte Alterung eines Produkts, das dadurch veraltet oder unbrauchbar wird.
14. Smart Glasses/ Datenbrillen; Ausgabegerät zur Wiedergabe von AR-Inhalten. Digitale Informationen können auf einem transparenten Display im Sichtfeld des Nutzers angezeigt werden.
15. Smart Mirror: Spiegel mit integriertem Display. Funktioniert ähnlich wie ein Smartphone und kann über integrierte Kameras Objekte aus der realen Welt mit digitalen Inhalten auf dem Spiel anzeigen.
16. Spartial Display: Computergenerierte Objekte werden über einen Beamer auf die zu erweiternde Oberfläche projiziert.
17. Tracking: Das räumlich und zeitliche Erfassen eines Objektes zum Zwecke der Bestimmung der Lage und/ oder Orientierung des Objektes in einem Koordinatensystem.
18. Virtual Reality: (VR, virtuelle Realität) Bezeichnet eine computergenerierte Darstellung erfundener oder realer Umgebungen, in die der Betrachter eintauchen, sich bewegen und mit andern interagieren kann.

Quellen:

Kind S., TAB (Hrsg.) (2019): Virtual und Augmented Reality, Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag, Publikation, Arbeitsbericht Nr. 180, in: http://www.tab-beim-bundestag.de/de/pdf/publikationen/berichte/TAB-Arbeitsbericht-ab180.pdf

Länger K. (2017): Wege in virtuelle Welten, in: https://www.it-business.de/was-ist-virtual-augmented-und-mixed-reality-a-650442/

Milgram P. et al. (1994): Augmented reality: A class of displays on the reality-virtuality continuum. In: Proceedings of SPIE Vol. 2351, Telemanipulator and Telepresence Technologies

Tümler J. (2009): Untersuchungen zu Nutzerbezogenen und technischen Aspekten Beim Langzeiteinsatz mobiler Augmented Reality Systeme in industriellen Anwendungen, Dissertation, Fakultät für Informatik der Otto-von-Guericke-Universität Magdeburg, Magdeburg

Zabel C. et al. (2019): XR in NRW, Studie, Medien Netzwerk NRW, veröffentlicht von TH Köln, Köln, in: https://epb.bibl.th-koeln.de/frontdoor/deliver/index/docId/1413/file/XR-Studie-NRW-2019_RZ.pdf