Wow, ist Apples Vision Pro voller Pixel?

Apple kündigte auf seiner WWDC-Keynote am 5. Juni das Vision Pro an, sein erstes Augmented Reality (AR)-Headset. Das Headset verfügt über zwei hochmoderne Micro-OLED-Displays mit unglaublichen 23 Millionen Pixeln – fast dreimal so viele wie in einem 4K-Display.

Die Qualität der AR/VR-Anzeige hat sich seit der ursprünglichen Oculus Rift, die über ein einziges 1.280 x 800-Display verfügte, sprunghaft verbessert. Aber die Notwendigkeit, Preis und Qualität in Einklang zu bringen, hat führende AR/VR-Anbieter wie Meta und HTC Corp. zu Kompromissen gezwungen. Apple entscheidet sich für eine andere Strategie und treibt die Display-Technologie des Geräts und den vom Hersteller empfohlenen Verkaufspreis des Headsets von 3.499 US-Dollar auf die Spitze.

„[Apple] verfügt am Ende über drei Displays in diesem Headset, die keineswegs billig sind“, sagt Anshel Sag, Chefanalyst bei Moor Insights & Strategy. „Die beiden Mikro-OLEDs im Inneren habe ich noch nie in irgendetwas implementiert gesehen. Es handelt sich um ein äußerst kostengünstiges Display mit extrem geringem Volumen und einer Drei-Element-Linse und einem optischen System, das offensichtlich speziell für dieses Headset entwickelt wurde.“

Das Vision Pro verfügt über ein Paar 1,41-Zoll-Micro-OLED-Displays. Die Größe jedes Pixels ist vergleichbar mit der Größe eines menschlichen roten Blutkörperchens. Apfel

Abgesehen von der Pixelanzahl machte Apple auf der WWDC 2023 nur wenige Einzelheiten zum Display des Vision Pro bekannt, aber Analysten haben die Details ergänzt. Ross Young, CEO von Display Supply Chain Consultants, sagt, dass das Vision Pro über ein Paar 1,41-Zoll-Micro-OLED-Displays verfügt, die eine OLED-Frontplatine von Sony mit einer Silizium-Rückplatine des Chipherstellers TSMC kombinieren. Jedes Pixel ist lediglich 7,5 Mikrometer groß – ähnlich dem Durchmesser eines menschlichen roten Blutkörperchens. „Es ist mit Abstand das Mikro-OLED mit der höchsten Auflösung auf dem Markt“, sagt Young.

Die Auflösung ist zwar beeindruckend, erzählt aber nicht die ganze Geschichte. AR/VR-Ingenieure messen die Pixeldichte anhand der Anzahl der Pixel pro Sehgrad (PPD), einer Kennzahl, die das Sichtfeld eines Headsets berücksichtigt. Apple hat das Sichtfeld des Vision Pro nicht veröffentlicht, aber Journalisten, die das Gerät ausprobiert haben, sagen, dass es mit anderen AR/VR-Headsets konkurrenzfähig ist, die ein Sichtfeld zwischen 100 und 120 Grad bieten. Damit dürften die Pixel pro Grad des Headsets bei etwa 50 bis 70 PPD liegen.

„Die Auflösung der Fovea, dem Teil des Auges mit der höchsten Auflösung, wird mit 60 Pixel pro Grad angenommen. Und wenn Sie eine Anzeige mit 60 Pixel pro Grad haben, würden wahrscheinlich 99,9 Prozent der Menschen die Pixel nicht wahrnehmen.“ sagt Michael Miller, Augmented-Reality-Hardware-Leiter bei Niantic. „Eine Reduzierung auf 40 Pixel pro Grad statt auf 60 gilt immer noch als in Ordnung. Und für [Niantics] Referenzdesign haben wir 30 Pixel pro Grad ausprobiert, und solange die Benutzer die Lücke zwischen den Pixeln nicht sehen, es war immer noch in Ordnung.

„Ich denke, [Apple] hat die Auflösung so hoch eingestellt, dass man die Pixel nicht mehr sehen kann.“ —Anshel Sag, Chefanalyst bei Moor Insights & Strategy.

Die meisten AR/VR-Headsets kommen mit einer deutlich geringeren Pixeldichte aus. Metas Quest Pro liefert 22 PPD, das HTC Vive XR Elite bietet 19 PPD und das Microsoft HoloLens 2 gibt 47 PPD an (obwohl einige diese Zahl bestreiten). Der weithin gelobte Varjo VR-3, der 2021 auf den Markt kam und für 3.645 US-Dollar im Einzelhandel erhältlich ist, erreicht 70 PPD, allerdings mit einem „bionischen Display“, das einen hochauflösenden Fokusbereich mit peripheren Displays kombiniert, die eine niedrigere, wenn auch immer noch beeindruckende 30 PPD.

„Ich habe das Gefühl, dass wir bereits einige Headsets haben, die diesen Punkt fast erreicht haben oder ihn bereits ein wenig überschritten haben, wie zum Beispiel die Varjo-Headsets“, sagt Sag. „Ich denke also, dass [Apple] die Auflösung so hoch eingestellt hat, dass man die Pixel nicht mehr sehen kann.“

Die unglaubliche Pixelanzahl von Apple stellt Herausforderungen dar, die über die Herstellung des Displays selbst hinausgehen. Jede Erhöhung der Pixelanzahl erhöht die zum Rendern eines Bildes erforderliche Grafikleistung, was wiederum den Stromverbrauch und die Wärmeentwicklung erhöht.

Jedes Vision Pro-Headset wird mit Apples M2 ausgeliefert, der CPU, GPU und KI-Beschleuniger auf einem einzigen Chip enthält, um seine Displays anzutreiben und die Rechenleistung zu verarbeiten. Doch selbst der M2, ein Chip, der am häufigsten in Apple-Laptops der Mittelklasse wie dem MacBook Air zu finden ist, würde stark beansprucht, wenn er gezwungen wäre, die Displays des Vision Pro mit voller Auflösung anzutreiben.

Der Varjo VR-3 macht dies deutlich. Im Gegensatz zum Apple Vision Pro, bei dem es sich um einen völlig eigenständigen Computer handelt, enthält der VR-3 weder eine CPU noch eine GPU, sondern fungiert stattdessen als Display für einen Windows-PC. Varjo empfiehlt eine Reihe sperriger High-End-Laptops und -Desktops mit Intel Core i7- und i9-Prozessoren und Nvidia RTX 3080- oder 3090-Grafik.

Apples Vision Pro verwendet zwei integrierte Apple Silicon-Chips für die Rechen- und Grafikverarbeitung.Apple

Apple geht dieses Problem mit einem völlig neuen Chip an, dem Apple R1, der die Last der Verarbeitung der Eingaben von den Kameras des Headsets übernimmt. Ein Teil dieser Daten wird für Foveated Rendering verwendet, eine Technik, die die Auflösung je nach Blick des Benutzers dynamisch variiert.

„Ich denke, Foveated Rendering ist ein sehr großer Faktor dafür, wie viel von der GPU tatsächlich genutzt wird und wie viel von der Anzeige sie benötigen, um mit voller Auflösung zu laufen“, sagt Sag. „Theoretisch könnten sie das Display mit Foveated-Rendering betreiben, wobei sie nur in der Mitte die volle Auflösung laufen lassen und alles andere eine niedrigere Auflösung hat.“

Foveated Rendering ist keine neue Idee – Forscher bei Microsoft haben die Idee bereits vor über einem Jahrzehnt untersucht –, sondern taucht erst seit Kurzem in Consumer-Headsets wie dem Meta Quest Pro und der PlayStation VR 2 von Sony auf. Seine Seltenheit ist auf das schwierige Problem zurückzuführen, die Benutzerdaten zu verfolgen Augen, um zu bestimmen, worauf ihre Aufmerksamkeit gerichtet ist. Apple kaufte 2017 SensoMotoric Instruments (SMI), einen führenden Anbieter von Eye-Tracking-Lösungen, und zwang andere, auf neuere Alternativen zu setzen oder eigene Lösungen zu entwickeln.

Die Display-Technologie im Vision Pro von Apple könnte für Enthusiasten, die VR gegenüber AR bevorzugen, übertrieben sein. „Wenn wir uns mit der Bildschirmtechnologie selbst befassen, lässt sich das am besten so zusammenfassen, dass sie für viele Anwendungsfälle keine Rolle spielt“, sagt Jeremy Dalton, Spatial-Computing-Berater und Autor von „Reality Check“. Dalton weist darauf hin, dass die meisten AR/VR-Headsets für Verbraucher für Spiele, Filme und vollständig immersive 3D-Erlebnisse verwendet werden. Eine verbesserte Schärfe ist zwar schön, aber keine Notwendigkeit, wenn man sich in Beat Sabre durch einen Track hämmert oder Metas Horizon Worlds erkundet.

Apple hat ein anderes Publikum im Sinn. Die Demos sagten nichts über das Metaversum und erwähnten das Spielen nur kurz. Stattdessen konzentrierte sich das Unternehmen auf Videoanrufe, Fotografie, Büroproduktivität und AR-Unterhaltung. Diese Szenarien erhöhen den Bedarf an Auflösung drastisch, da Benutzer gleichzeitig mit realen und virtuellen Objekten interagieren.

„Sie wollten auf jeden Fall den Pass-Through-Anwendungsfall unterstützen. Sie müssen dem Benutzer mithilfe der Displays seine eigene Umgebung präsentieren. Das ist entscheidend“, sagt Miller. „Um dieses Erlebnis zu schaffen und es glaubwürdig zu machen, ist das der wichtigste Grund, warum man diese hohe Auflösung braucht.“

Die extreme Pixeldichte öffnet die Tür zu nützlichen AR-Anwendungen, die die Augen der AR-Displaymodelle der vorherigen Generation nicht belasten. Apfel

Aktuelle Headsets bieten keinen realistischen Eindruck. Das HTC Elite XR, das ich auf der CES 2023 ausprobiert habe, bot den attraktivsten Pass-Through-Modus, den ich bisher gesehen hatte, aber die Interaktion mit realen Objekten blieb umständlich. Metas Quest Pro kann noch weniger überzeugen. Adi Robertson, der das Headset für The Verge rezensierte, beklagte sich darüber, dass „Metas Farbdurchgang nicht annähernd wie die reale Welt aussieht.“

„Der High-End-Bildschirm ist am sinnvollsten, wenn Sie beispielsweise ein High-End-Training durchführen müssen. Die NASA nutzt den Varjo für das Astronautentraining“, sagt Dalton. Apple hat den Vision Pro nicht für Astronauten entwickelt, aber Pixel mit hoher Dichte bleiben auch bei alltäglicheren Aufgaben nützlich. Astronauten müssen scharf sein, um die kleinen Anzeigen und Zifferblätter im Cockpit eines Raumfahrzeugs sehen und ablesen zu können. Alle anderen benötigen es, um bequem gedruckte Dokumente lesen oder ein Smartphone nutzen zu können.

„Ich würde erwarten, dass das Headset in solchen Szenarien eine hervorragende Leistung erbringt“, sagt Dalton. „Produktivität basiert in der Regel sehr auf Text. Je besser das Seherlebnis, desto geringer die Belastung und desto länger können Sie durchhalten.“