Ochelari cu mere

Se zvonește că Apple are o echipă secretă de sute de angajați care lucrează la proiecte de realitate virtuală și augmentată.

• da
• Nu

Proiectul secret de realitate virtuală și augmentată de la Apple

Cuprins

1. Proiectul secret de realitate virtuală și augmentată de la Apple
• Căști de realitate mixtă
• Ochelari inteligenți AR
• Scurgeri de AR iOS 14
• AR în Xcode
• Parteneriat cu valve?
• Alte zvonuri
2. Realitatea augmentată vs. realitatea virtuală
3. Echipa VR/AR a Apple
• Angajează
• Achizitii
4. Brevete AR/VR
5. Data lansării
6. Planuri viitoare AR/VR
7. Cronologie pentru ochelari Apple

Apple a explorat realitatea virtuală și tehnologiile de realitate augmentată de mai bine de 10 ani pe baza depunerii de brevete, dar cu realitatea virtuală și augmentată care a explodat în popularitate odată cu lansarea ARKit, barbotarea Apple devine din ce în ce mai serioasă și se așteaptă să conducă la un AR/ Produs VR în 2022.

Se zvonește că Apple are o unitate de cercetare secretă cu sute de angajați care lucrează la AR și VR și explorează modalitățile în care tehnologiile emergente ar putea fi utilizate în viitoarele produse Apple. Angajările VR/AR au crescut în ultimii ani, iar Apple a achiziționat mai multe companii AR/VR pe măsură ce își continuă activitatea în spațiul AR/VR.

Se zvonește că Apple lucrează cel puțin la Două Proiectele AR care includ un set de căști de realitate augmentată care urmează să fie lansate chiar în jurul anului 2022, urmat de o pereche mai elegantă de ochelari de realitate augmentată care va veni la o dată ulterioară. Multe zvonuri s-au concentrat doar pe ochelari, ceea ce duce la o oarecare confuzie cu privire la planurile Apple, dar se pare că AR/VRheadset va fi primul produs lansat.

Analistul Apple Ming-Chi Kuo crede că căștile Apple pentru „realitate mixtă”. va ieși la sfârșitul anului 2022 sau începutul lui 2023, urmând ochelarii Apple în 2025, deși alte surse au spus că ochelarii vor veni în 2023. Căștile sunt AR/VR, alias realitate mixtă, în timp ce ochelarii Apple sunt realitate augmentată.

Căști de realitate mixtă

Informatia și Bloomberg Ambii au spus că Apple lucrează la ochelari inteligenți ȘI la o cască AR/VR (alias realitate mixtă), setul cu cască urmând să apară primul, urmat de ochelari. Se zvonește că setul cu cască este similar cu setul cu cască de realitate virtuală Oculus Quest de la Facebook, dar cu un design mai elegant, care utilizează țesături și materiale ușoare pentru a se asigura că setul cu cască este confortabil.

Se spune că prezintă două ecrane de înaltă rezoluție 8K și camere de detectare a ochilor, care le vor permite utilizatorilor „să citească litere mici” și „să vadă alte persoane care stau în fața și în spatele obiectelor virtuale”. Setul cu cască va putea să cartografieze suprafețele, marginile și dimensiunile camerelor cu „o precizie mai mare decât dispozitivele existente pe piață”. Va avea un afișaj mai avansat și un cip care este chiar mai rapid decât procesorul M1 din Mac-urile din 2020.

Informatia în februarie a spus că va fi echipat cu mai mult de o duzină de camere pentru urmărirea mișcărilor mâinii, pe lângă camerele pentru a vedea lumea exterioară, iar designul blochează vederea periferică pentru a preveni scurgerea luminii în câmpul vizual al purtătorului. Ar putea exista, de asemenea, o vizor orientat spre exterior încorporat în afișaj pentru a permite purtătorului să arate grafică altora.

Elec sustine ca căștile VR vor avea un afișaj micro OLED de înaltă rezoluție, cu până la 3.000 de pixeli pe inch. S-a zvonit anterior un afișaj micro OLED pentru ochelarii inteligenți, dar nu și pentru căștile VR.

Analistul Apple Ming-Chi Kuo a spus că viitoarele căști de realitate mixtă de la Apple va include 15 module de camere optice in total. Opt dintre cele 15 module de cameră vor fi folosite pentru experiențe de realitate augmentată transparente, șase module vor fi utilizate pentru „biometrie inovatoare”, iar un modul de cameră va fi utilizat pentru detectarea mediului.

Kuo crede de asemenea că setul cu cască Apple va fi echipat cu un sistem avansat de urmărire a ochilor, folosit pentru a oferi o experiență vizuală intuitivă care interacționează perfect cu mediul extern, împreună cu o operare mai intuitivă care poate fi controlată cu mișcările ochilor și o sarcină de calcul redusă sub forma unui proces redus. rezoluție în care utilizatorul nu caută.

Din punct de vedere al designului, setul cu cască a fost descris ca având o „vizieră elegantă, curbată, atașată de față printr-un material plasă și bentițe interschimbabile”. Se presupune că o bandă pentru cap are tehnologie audio spațială, cum ar fi AirPods Pro, pentru o experiență similară cu sunetul surround, în timp ce cealaltă oferă o viață suplimentară a bateriei în timp ce sunteți în deplasare. Apple lucrează la mai multe metode de control, inclusiv un „dispozitiv asemănător degetarului care poate fi purtat pe degetul unei persoane”. Setul cu cască ar putea, de asemenea, să răspundă la mișcările ochilor și la gesturile mâinii purtătorului, în timp ce un prototip al căștii avea și un cadran fizic pe partea vizierei. Apple a testat și intrarea Siri.

Apple vrea creați un App Store pentru căști, cu accent pe jocuri, conținut video în flux și conferințe video. A fost descris de Bloomberg ca „mediu digital 3-D atotcuprinzător”, conceput pentru jocuri, vizionarea videoclipurilor și comunicare.

Prototipuri actuale de căști sunt spuse să cântărească în jur de 200 până la 300 de grame, dar Apple își propune să reducă greutatea finală la 100 până la 200 de grame dacă pot fi rezolvate probleme tehnice, ceea ce ar face căștile mai ușoare decât dispozitivele VR existente. Setul cu cască va fi portabil cu alimentare și stocare independente, dar nu va fi „mobil” ca un iPhone. Va oferi o „experiență captivantă” care depășește produsele VR disponibile în prezent și ar putea fi integrată cu Apple TV+ și Apple Arcade.

Funcționalitatea de realitate augmentată pentru căști este „mai limitată” și, în timp ce o lansare este planificată pentru 2022, se spune că Apple a lovit mai multe obstacole în dezvoltare și are estimări „conservatoare” de vânzări pentru dispozitiv. Apple se așteaptă să vândă aproximativ 180.000 de unități, ceea ce este la egalitate cu dispozitivele mai scumpe precum Mac Pro. Se așteaptă că setul cu cască va fi mult mai scump decât căștile de la alte companii și Informatia spune că Apple a discutat despre prețul căștilor la aproximativ 3.000 USD.

Designul inițial a inclus un ventilator și procesoare puternice, rezultând un dispozitiv prea greu. Apple ar fi decis să aducă setul cu cască mai aproape de față pentru a reduce dimensiunea. Utilizatorii nu vor putea purta ochelari în timp ce folosesc căștile, așa că Apple a creat un sistem în care lentilele personalizate pot fi introduse peste ecranele VR.

Kuo crede că setul cu cască va folosi un design hibrid de lentile Fresnel , cuprinzând trei lentile stivuite per ochi din plastic ușor. Scopul este că designul este să permită distanțe focale ultra-scurte și performanțe optice îmbunătățite, precum și un câmp vizual larg și să mențină greutatea setului cu cască sub 150 de grame.

În ceea ce privește puterea, viitoarele căști AR/VR vor avea un procesor principal high-end este similar cu cipul M1 pe care Apple l-a debutat anul trecut pentru Mac-urile Apple cu silicon, împreună cu un procesor de gamă inferioară pentru gestionarea aspectelor legate de senzori ale dispozitivului.

Analistul Apple Ming-Chi Kuo susține că va putea funcționa independent fără a se baza pe un Mac sau iPhone, ceea ce este o abatere de la un zvon anterior care spunea că necesită o legătură la un iPhone. Cipul de mare putere din setul cu cască va conduce o pereche de afișaje Micro OLED 4K de la Sony și șase până la opt module optice pentru a oferi funcționalitate bazată pe AR. Apple are lucrare finalizată pe SoC pentru căștile AR/VR și se va optimiza pentru transmisia wireless de date, comprimarea și decomprimarea video și eficiența energetică pentru o durată de viață maximă a bateriei și nu are un motor neuronal ca unele dintre celelalte cipuri Apple.

Viitoarele căști de realitate mixtă de la Apple vor oferă WiFi 6E suport, care este cea mai recentă specificație WiFi. Se spune că Apple intenționează să implementeze WiFi 6E pentru a oferi o experiență de ultimă generație, captivantă, cu conectivitate wireless solidă. WiFi 6E are toate beneficiile WiFi 6, dar adaugă spectru de 6GHz pe lângă benzile de 2,4GHz și 5GHz pentru o lățime de bandă sporită și mai puține interferențe între dispozitive.

Redări ale căștilor cu realitate mixtă

Designerul Antonio De Rosa are a dezvoltat randări 3D pe baza detaliilor împărtășite de Informatia , oferindu-ne o privire la cum ar putea arăta căștile de realitate mixtă de la Apple, pe baza zvonurilor actuale.

Informatia a descris căștile ca fiind o „vizieră elegantă, curbată, atașată de față printr-un material plasă și bentițe interschimbabile”, oferite în mai multe culori.

Primele prototipuri de căști

Zvonuri anterioare de la CNET în 2018, a sugerat că Apple lucrează la un set cu căști AR/VR puternic, cu un afișaj 8K pentru fiecare ochi, care nu ar fi legat fie de la un computer, fie de la un smartphone și ar funcționa atât cu aplicații de realitate virtuală, cât și cu realitate augmentată.

În loc să te bazezi pe o conexiune la un smartphone sau un computer, setul cu cască CNET descris s-ar conecta la o „cutie dedicată” folosind o tehnologie wireless de mare viteză, cu rază scurtă de acțiune, numită WiGig de 60 GHz. Cutia ar fi alimentată de un procesor Apple personalizat de 5 nanometri, care este „mai puternic decât orice disponibil în prezent”. Cutia seamănă aparent cu un turn de PC, dar „nu va fi un computer Mac real”. Acest design asemănător cutie a făcut obiectul zvonurilor timpurii și poate fi un prototip care a fost abandonat de atunci pentru versiunea mai elegantă pe care o descriu acum zvonurile.

Se spune că dezacordurile interne au modelat și schimbat de-a lungul timpului obiectivele Apple pentru căștile sale AR. Apple a fost tintind initial pentru un sistem ultra-puternic care a venit cu un hub pentru a găzdui procesorul așa cum este descris mai sus, dar Jony Ive, care a părăsit compania de atunci, nu a vrut să vândă un dispozitiv care să necesite un dispozitiv separat, staționar pentru funcționalitate deplină.

În schimb, mi-am dorit un set de căști cu tehnologie mai puțin puternică, care să poată fi încorporat direct în dispozitiv, dar liderul echipei AR/VR, Mike Rockwell, dorea dispozitivul mai puternic. A fost o confruntare care a durat luni de zile, iar Tim Cook a fost în cele din urmă de partea lui Ive. Se spune că prefer ochelarii inteligenți AR, care sunt și ei în lucru.

Ochelari inteligenți AR

Apple lucrează la un set de ochelari de realitate augmentată, pe care Leaker Jon Prosser a sugerat Apple va numi „Apple Glass”. Acest nume ar fi o alegere neobișnuită, având în vedere asemănarea cu numele Google Glass, un produs care a existat cu mult înainte ca munca Apple la ochelari AR să iasă la lumină, așa că s-ar putea să nu fie exact.

Se spune că ochelarii arată similar cu ochelarii obișnuiți, ambele lentile având afișaje cu care pot fi interacționate folosind gesturi. Va exista o opțiune de a obține ochelarii fără lentile prescrise la un posibil preț de pornire de 499 USD, lentilele prescrise fiind disponibile la un cost suplimentar.

Conform Bloomberg , ochelarii sunt în un stadiu incipient de dezvoltare , chiar mai devreme decât căștile AR/VR la care lucrează Apple. Ochelarii au fost descriși ca fiind „la câțiva ani distanță”, deși Apple plănuia inițial să-i lanseze încă din 2023. Prototipul actual seamănă cu ochelarii de soare de ultimă generație, cu rame groase care găzduiesc bateria și cipurile.

Se presupune că Apple este intenționează să utilizeze Microdisplay-uri OLED „de vârf” furnizate de Sony pentru ochelarii săi de realitate augmentată. Microdisplay-urile OLED de la Sony oferă o rată de răspuns ultra-rapidă, un contrast ultra-înalt, o gamă largă de culori, luminanță ridicată, reflectanță scăzută și drivere integrate pentru un design subțire și ușor. Se spune că ochelarii au un ecran de 0,5 inci cu o rezoluție de 1280 x 960.

Kuo se așteaptă ca ochelarii AR să fie comercializați ca un accesoriu pentru iPhone și vor avea în primul rând un rol de afișare, descarcând computerul, rețelele și poziționarea pe iPhone, cu ochelarii. furnizarea o „experiență AR transparentă optică” pe mobil. Oferirea ochelarilor AR ca accesoriu pentru iPhone va permite Apple să-i mențină subțiri și ușoare. Prosser spune că ochelarii vor arăta similar cu Ray-Ban Wayfarers sau cu ochelarii pe care îi poartă Tim Cook.

Bloomberg a spus că ochelarii Apple vor rula sistemul de operare „rOS” sau realitate. Se spune că rOS se bazează pe iOS, sistemul de operare care rulează pe iPhone. Pentru căștile AR, Apple dezvoltă un cip „system-on-a-package” similar cu cel din Apple Watch, deși se va baza pe iPhone așa cum s-a menționat mai sus.

Pe parcursul dezvoltării unei căști AR, Apple a luat în considerare panourile tactile, activarea vocală și gesturile capului drept metode de introducere, iar o gamă largă de aplicații, de la cartografiere la mesaje text, sunt în curs de prototip. Sălile de întâlnire virtuale și redarea video la 360 de grade sunt, de asemenea, concepte care sunt explorate.

Am crezut că există zvonuri inițiale a unei lansări în 2020 , Bloomberg crede că ochelarii AR ar putea veni sunt la ani distanță de lansare, iar căștile VR vor apărea în 2022. Un raport de la DigiTimes a sugerat că ochelarii AR ai Apple se vor lansa în 2021, iar analistul Apple Ming-Chi Kuo se așteaptă la o lansare în 2022 cel mai devreme .

Leaker Jon Prosser crede că Apple își va dezvălui ochelarii AR în martie sau iunie 2021, dar acest lucru pare inexact având în vedere estimările de la Bloomberg și Kuo.

Prosser mai spune că Apple lucrează la o versiune în ediție limitată „Steve Jobs Heritage” a ochelarilor inteligenți, care sunt proiectați să arate ca ochelarii rotunzi, fără ramă, pe care îi purta Steve Jobs, dar Bloomberg Mark Gurman a numit acest zvon „ficțiune completă”.

Apple este lucrul cu TSMC pentru a dezvolta ecrane micro OLED „ultra-avansate” care vor fi folosite în viitoarele dispozitive de realitate augmentată de la Apple, cum ar fi ochelarii inteligenți. Se spune că ecranele au o dimensiune mai mică de un inch.

Ecranele Micro OLED sunt construite direct pe cipuri, mai degrabă decât pe un substrat de sticlă, ceea ce are ca rezultat afișaje mai subțiri, mai mici și mai eficiente din punct de vedere energetic. Se spune că dezvoltarea pe ecrane micro OLED este în faza de producție de probă și vor trece câțiva ani până când Apple și TSMC sunt gata pentru producția de masă, ceea ce ar face ca aceste afișaje să fie adecvate pentru Apple Glasses despre care se zvonește că vor fi lansate în jurul anului 2023.

De la începutul lui 2021, Apple se spune a fi intrând într-o „a doua fază de dezvoltare” pe un prototip de ochelari de realitate augmentată. Ochelarii urmează să treacă printr-o a treia fază de dezvoltare în câteva luni, iar apoi, când designul prototipului este finalizat, purtabilul va trece printr-o perioadă de șase până la nouă luni de verificare inginerească.

Scurgeri de AR iOS 14

Cod și imagini găsit în iOS 14 confirmă munca Apple la o cască AR sau VR, cu o fotografie descoperită care înfățișează un controler cu aspect generic pentru un set de căști care este similar ca design cu setul cu cască HTC Vive Focus. Apple a folosit hardware-ul HTC Vive în scopuri de testare internă.

Apple își testează echipamentul AR cu o aplicație iOS 14 numită Gobi împreună cu coduri QR pentru a testa experiențele de realitate augmentată. Una dintre aceste experiențe de realitate augmentată este un joc de bowling pe trecerea de pietoni declanșat la o anumită trecere de pietoni din Sunnyvale, California.

AR în Xcode

Codul din Xcode 11 confirmă Munca Apple pe un fel de căști AR. Există referințe la dispozitive de testare cu nume de cod plus cadre și un shell de sistem legat de aceste dispozitive. Referințele sugerează că Apple dezvoltă suport pentru o experiență AR montată pe față, care este similară cu Daydream de la Google.

Parteneriat cu valve?

Potrivit site-ului taiwanez DigiTimes , Apple este un parteneriat dezvoltator de jocuri Valve pentru căștile sale AR zvonite. Valve a lansat primul său set de căști VR, Valve Index, în aprilie 2019.

Valve a colaborat anterior cu Apple pentru a oferi suport nativ pentru căști VR pentru macOS High Sierra, valorificând suportul eGPU cu o versiune Mac a software-ului SteamVR.

Alte zvonuri

În noiembrie 2017, Apple a achiziționat Vrvana, o companie care a dezvoltat o cască de realitate mixtă numită Totem. Tehnologia lui Vrvana ar putea fi utilizată într-un viitor căști Apple. Apple a urmat achiziționarea Vrvana cu o achiziție a Akonia Holographics, o companie care produce lentile pentru ochelari inteligenți AR.

Zvonurile au sugerat, de asemenea, că Apple ar putea încorpora cercetarea în realitate augmentată în proiectul său auto aflat în desfășurare, ca parte a unui sistem software pentru mașină care ar putea include un afișaj heads-up sau alte caracteristici.

Notă: Vedeți o eroare în această rezumat sau doriți să oferiți feedback? .

Realitatea augmentată vs. realitatea virtuală

Realitatea augmentată (AR) și realitatea virtuală (VR) sunt tehnologii similare, dar există o diferență majoră între ele și aplicațiile lor potențiale variază foarte mult. Realitatea virtuală se referă la o experiență completă captivantă într-o lume virtuală, în timp ce realitatea augmentată se referă la o viziune modificată asupra lumii reale.

Diferența poate fi rezumată cel mai bine printr-o comparație între două produse, unul AR și unul VR. Google Glass , setul de ochelari inteligenți acum dispărut de la Google, este un exemplu de realitate augmentată. Google Glass, purtat cu ochii, permitea utilizatorilor să vadă lumea așa cum este, dar oferea un afișaj heads-up care suprapunea informații relevante furnizate de computer peste acea vizualizare a lumii reale, cum ar fi vremea locală, hărțile și notificările.

Acest lucru este similar cu ceea ce se spune că lucrează Apple cu zvonurile săi „ochelari inteligenți”.

În comparație, Facebook-ul Oculus Rift este o cască de realitate virtuală care oferă o experiență vizuală captivantă care nu sporește lumea reală cu informații senzoriale suplimentare -- înlocuiește complet lumea reală cu o lume simulată.

Realitatea augmentată oferă context și informații generate de computer despre lumea din jurul nostru, permițându-ne în același timp să interacționăm cu împrejurimile noastre, în timp ce realitatea virtuală este concepută pentru a ne izola de împrejurimile noastre, astfel încât să putem interacționa cu lumi fictive.

când a fost lansat iPhone 10

Aplicațiile potențiale pentru cele două sunt foarte diferite. Realitatea virtuală se concentrează în mod singular pe consumul de conținut imersiv, deoarece îl face pe purtător să se simtă ca și cum ar experimenta cu adevărat ceea ce se întâmplă în lumea simulată prin feedback vizual, tactil și audio. Realitatea virtuală este în mare măsură legată de jocuri în acest moment, dar are și potențialul de a recrea experiențe din lumea reală în scopuri educaționale sau de formare.

Realitatea augmentată nu depinde de conținutul captivant și, deși este mai puțin interesantă, deoarece crește realitatea în loc să o înlocuiască, are o gamă mai largă de aplicații potențiale. De fapt, aplicațiile și jocurile de realitate augmentată sunt ușor disponibile în iOS 11 datorită ARKit.

Cu ARKit, un dispozitiv iOS este capabil să identifice o suprafață ca o masă și apoi pot fi adăugate obiecte virtuale. Datorită puterii de calcul a iPhone și iPad, capabilitățile de realitate augmentată ale ARKit sunt impresionante. ARKit este deja folosit pentru a crea o gamă largă de aplicații și jocuri, îmbinând obiectele digitale cu lumea reală.

Joaca

Apple poate viza un produs care funcționează atât cu realitate augmentată, cât și cu realitatea virtuală, așa cum sugerează zvonurile recente care indică lucrul la un set de căști AR/VR. Un astfel de produs ar putea fi folosit pentru aplicații serioase de realitate virtuală, precum și pentru experiențe de realitate augmentată și ar fi similar cu Microsoft HoloLens.

Echipa VR/AR a Apple

Lucrările Apple privind realitatea virtuală și augmentată datează de mai mulți ani, dar zvonurile au apărut începând cu martie 2015, când au apărut știri că Apple avea o echipă mică de oameni care lucrează la realitatea augmentată. În 2015 și la începutul lui 2016, echipa Apple a crescut pe măsură ce compania a angajat angajați cu experiență în tehnologia AR/VR și a făcut mai multe achiziții conexe.

Echipa Apple AR/VR include câteva sute de ingineri din toată Apple, toți având experiență în realitatea virtuală și augmentată. Echipa lucrează în parcuri de birouri din Cupertino și Sunnyvale, iar Apple explorează mai multe proiecte hardware și software sub numele de cod „T288”.

Echipa de realitate augmentată a Apple combină „punctele forte ale veteranilor săi hardware și software” și este condusă de Mike Rockwell, care a venit de la Dolby. Foști angajați ai unor companii precum Oculus, HoloLens, Amazon (din echipa VR), compania de animație 3D Weta Digital și Lucasfilm lucrează la AR la Apple.

Fostul șef de inginerie hardware Apple, Dan Riccio, a făcut tranziția în ianuarie 2021 la un nou rol unde este el supravegherea activității Apple pe o cască AR/VR. Proiectul s-a confruntat cu provocări de dezvoltare, iar directorii Apple cred că concentrarea lui Riccio poate ajuta.

Angajează

Unul dintre cei mai importanți angajați de AR/VR de la Apple a fost profesorul de informatică Doug Bowman, care a condus anterior Centrul de interacțiune om-calculator al Virginia Tech. El este specializat în design tridimensional de interfețe cu utilizatorul și a scris o carte pe acest subiect care acoperă interfețele 3D și beneficiile mediilor virtuale imersive. Are expertiză atât cu realitatea virtuală, cât și cu realitatea augmentată.

Apple a angajat, de asemenea, angajați care au lucrat la produse de realitate virtuală sau augmentată la Microsoft și Lytro. Se spune că unele angajări recente provin din echipa HoloLens a Microsoft, în timp ce alții au lucrat la Lytro, o companie care lucrează la o cameră capabilă să îmbine acțiunea live și grafica computerizată pentru o experiență VR de acțiune live. Angajații care provin din echipa HoloLens ar avea experiență în crearea unei căști avansate de realitate augmentată.

Camera Lytro Immerge de 360 ​​de grade

Zeyu Li, care a lucrat ca inginer principal de viziune computerizată la Magic Leap (o startup care dezvoltă un afișaj AR/VR montat pe cap), lucrează acum la Apple ca „inginer senior de algoritmi de viziune pe computer”.

Yury Petrov, fost cercetător la Oculus, deținut de Facebook, servește acum ca „cercetist” la Apple. Potrivit profilului său LinkedIn, Petrov a studiat experiențele de realitate virtuală, a creat prototipuri optice și a dezvoltat software de simulare pe computer.

Expertul în realitate augmentată Jeff Norris s-a alăturat Apple în aprilie 2017 în calitate de senior manager care lucrează în echipa de realitate augmentată a companiei. Norris a fondat Biroul de inovare pentru operațiunile misiunii și Laboratorul de operațiuni JPL la NASA. A condus mai multe proiecte concentrate pe interacțiunea om-sistem, cu accent pe realitatea virtuală și augmentată.

Apple în mai 2018 2018 l-a angajat pe Sterling Crispin, care a dezvoltat o aplicație de pictură pentru căști VR mobile. „Cyber ​​Paint” le permite purtătorilor de căști VR să creeze imagini 2D la 260 de grade pe Oculus Go, Daydream, GearVR și Vive Focus. Pagina LinkedIn a lui Crispin spune că lucrează ca „cercetător de prototipuri”, sugerând că s-a alăturat echipei despre care se zvonește că lucrează la tehnologia căștilor VR/AR.

În decembrie 2018, Apple l-a angajat pe fostul designer Tesla și Microsoft HoloLens, Andrew Kim, și având în vedere istoria sa, ar putea lucra la proiectul de ochelari AR al Apple sau la viitoarea sa mașină Apple despre care se spune că este în dezvoltare.

Fondatorul Jaunt VR, Arthur van Hoff, sa alăturat Apple ca arhitect senior în aprilie 2019. Înainte de a lucra la Apple, compania sa a creat hardware VR , inclusiv o cameră 3D VR de 100.000 USD numită Jaunt One. Înainte de când van Hoff a părăsit compania, Jaunt a eșuat și a trecut la experiențele AR.

Cu echipa Apple care cuprinde sute de angajați, există multe alte angajări de experți în realitate virtuală care au trecut sub radar. Pe LinkedIn, există mai mulți ingineri software cu experiență în realitate virtuală care sunt angajați de Apple, dar nu este clar dacă lucrează în echipa secretă AR/VR.

În iulie 2019, Apple l-a mutat pe Kim Vorrath, unul dintre directorii săi de software setul cu cască de realitate augmentată divizie pentru a „aduce ordine” echipei. Vorrath a supravegheat managementul programelor în cadrul echipei de dezvoltare de software timp de 15 ani și a fost descris ca o „forță puternică” care se asigură că angajații respectă termenele limită, în timp ce elimină erori.

Achizitii

Mulți membri ai echipei Apple AR/VR s-ar fi alăturat companiei prin achiziții. Din 2015, Apple a achiziționat mai multe companii care au creat produse legate de AR/VR, iar unele dintre achizițiile sale AR/VR datează chiar de câțiva ani.

Apple a cumpărat în august 2018 Akonia Holographics, un startup care produce lentile pentru ochelari de realitate augmentată. Akonia Holographics face publicitate pentru „prima optica holografică reflectorizante și ghid de undă de volum disponibilă comercial din lume pentru elemente transparente de afișare în ochelari inteligenți”.

Ecranele pe care le produce se spune că folosesc tehnologia HoloMirror a companiei pentru „performanță ultra-clară, plină de culoare”, pentru a permite „cea mai subțire și mai ușoară afișaje purtate pe cap din lume”.

În noiembrie 2017, Apple a achiziționat Vrvana, o companie care a dezvoltat o cască de realitate mixtă numită Totem. Totem, care nu a fost niciodată lansat publicului, a fost conceput pentru a combina atât tehnologiile de realitate augmentată, cât și cele de realitate virtuală într-un singur set de căști, îmbinând capabilități complete VR cu camere de trecere pentru a activa funcțiile de realitate augmentată bazate pe ecran.

Totem a folosit, în esență, un set de camere pentru a proiecta imagini din lumea reală în afișajul OLED de 1440p încorporat, o abordare oarecum unică care îl diferențiază de produsele concurente precum HoloLens de la Microsoft, care utilizează un afișaj transparent pentru a combina realitatea virtuală și augmentată. Apple ar putea plănui să folosească o parte din tehnologia Totem într-un produs viitor.

Apple a achiziționat compania israeliană de detectare a corpului 3D PrimeSense în 2013, stârnind speculații că capabilitățile bazate pe mișcare vor fi implementate în Apple TV. Tehnologia 3D a adâncimii PrimeSense și capabilitățile de detectare a mișcării au fost utilizate în platforma inițială Kinect a Microsoft.

PrimeSense a folosit lumina aproape IR pentru a proiecta o lumină invizibilă într-o cameră sau într-o scenă, care este apoi citită de un senzor de imagine CMOS pentru a crea o imagine virtuală a unui obiect sau a unei persoane. Acest lucru permite controale bazate pe mișcare pentru interfețele software, dar este, de asemenea, capabil să facă lucruri precum măsurarea obiectelor virtuale și furnizarea de distanțe sau dimensiuni relative, utile pentru aplicații de realitate augmentată, cum ar fi jocurile interactive, cartografierea interioară și multe altele. Tehnologia PrimeSense poate crea, de asemenea, scanări foarte precise la 360 de grade ale persoanelor și obiectelor, potențial utile pentru aplicațiile de realitate virtuală.

Apple a achiziționat startup-ul de realitate augmentată Metaio în mai 2015. Metaio a construit un produs numit Metaio Creator, care ar putea fi folosit pentru a crea scenarii de realitate augmentată în doar câteva minute. Înainte de a fi achiziționat de Apple, software-ul Metaio a fost folosit de companii precum Ferrari, care au creat un showroom de realitate augmentată.

Tehnologia Metaio a fost folosită și la Berlin pentru a permite persoanelor care vizitează locul Zidului Berlinului să folosească un smartphone sau o tabletă pentru a vedea cum arăta zona când Zidul Berlinului era încă în picioare. Tehnologia Metaio este una care ar putea fi utilizată pentru a implementa capabilități de realitate augmentată în aplicații Apple precum Maps.

Apple a achiziționat Faceshift în august 2015, marcând a doua sa achiziție de realitate augmentată în 2015. Înainte de a fi achiziționat de Apple, Faceshift a lucrat cu studiouri de jocuri și animație pe o tehnologie concepută pentru a captura rapid și precis expresiile faciale folosind senzori 3D, transformându-le în fețe animate în timp real. Faceshift lucra, de asemenea, la un produs orientat spre consumator, care le-ar permite oamenilor să-și transforme fețele în desene animate sau fețe de monstru în timp real pe Skype.

Tehnologia Faceshift are o gamă largă de cazuri de utilizare posibile, iar Apple pare să folosească funcția pentru a alimenta Animoji pe iPhone X.

Emotient, o companie care a construit instrumente pentru analiza expresiei faciale, a fost achiziționată de Apple în ianuarie 2016. Tehnologia lui Emotient utilizează inteligența artificială și învățarea automată pentru a citi emoțiile umane, caracteristici care au fost folosite în lumea reală de agenții de publicitate pentru a determina reacțiile emoționale la reclame.

Există zeci de lucruri pe care Apple le-ar putea face cu Emotient, de la o mai bună detectare facială în aplicația Foto până la analizarea sentimentelor clienților din magazinele Apple până la deblocarea dispozitivelor iOS, dar are și posibile utilizări AR/VR. La fel ca Faceshift, tehnologia Emotient ar putea fi folosită pentru a analiza și transforma expresiile faciale pentru crearea de avatare virtuale, utile în scopuri de social media și jocuri. Tehnologia emoționantă a fost probabil folosită pentru Animoji.

Achizitionata la inceputul lui 2016, Flyby Media este o alta companie care a lucrat la realitate augmentata. A zbura pe lângă a creat o aplicație care a funcționat cu smartphone-ul „Project Tango” echipat cu senzori 3D de la Google, permițând ca mesajele să fie atașate la obiecte din lumea reală și vizualizate de alții cu unul dintre dispozitivele Google.

De exemplu, o persoană ar putea „scana” un punct de reper precum Podul Golden Gate din San Francisco și să scrie un mesaj atașat acestuia. O persoană care vizitează podul mai târziu ar putea apoi să scaneze podul cu aplicația Flyby pentru a vedea mesajul. Aplicația Flyby a atras probabil atenția Apple, deoarece a fost capabilă să recunoască și să înțeleagă diferite obiecte care au fost scanate, tehnologie care ar putea fi utilizată de Apple în mai multe moduri în aplicații precum Fotografii și Hărți.

În februarie 2017, Apple a achiziționat RealFace, o companie de securitate cibernetică și învățare automată specializată în tehnologia de recunoaștere facială, care ar putea fi utilizată pentru viitoarele funcții de realitate augmentată.

RealFace a dezvoltat o tehnologie de recunoaștere facială care integrează inteligența artificială pentru recunoașterea feței fără frecare. Tehnologia Realface a fost probabil folosită pe iPhone X , primul smartphone Apple cu capabilități de recunoaștere facială sub formă de Face ID.

Apple în mai 2020 a achiziționat NextVR , o companie din California care a combinat realitatea virtuală cu sport, muzică și divertisment, oferind experiențe VR pentru vizionarea evenimentelor live pe căști VR de la PlayStation, HTC, Oculus, Google, Microsoft și alți producători.

Apple în august 2020 a achiziționat Spaces de pornire VR , o companie care a conceput experiențe de realitate virtuală pe care oamenii le-ar putea experimenta în mall-uri și în alte locații, cum ar fi „Terminator Salvation: Fight for the Future”. Spaces a creat, de asemenea, experiențe de realitate virtuală pentru aplicații de comunicare video, cum ar fi Zoom, care este ceva pe care Apple l-ar putea încorpora într-un viitor produs AR/VR.

Brevete AR/VR

Apple a depus mai multe brevete care se referă direct la o cască de realitate virtuală, toate datând de câțiva ani. Deși tehnologia a avansat probabil oarecum dincolo de acestea, acestea oferă o privire interesantă asupra ideilor pe care Apple le-a explorat în trecut.

O cerere de brevet din 2008 a acoperit un „sistem personal de afișare” destul de simplu, conceput pentru a imita experiența de a fi într-un cinema atunci când vizionați videoclipuri.

Un al doilea brevet a descris un „Sistem de afișare montat pe cap” cu un „motor laser” care proiecta imagini pe un afișaj din sticlă transparentă purtat deasupra ochilor, similar cu ochelarii. În această configurație, căștile sunt conectate la un player video portabil, cum ar fi un iPod, pentru a oferi putere de procesare.

Un al treilea brevet depus inițial în 2008 a avut un design similar, acoperind un set de căști video asemănător cu ochelarii, conceput pentru a permite utilizatorilor să vizioneze filme și alt conținut. Acesta a subliniat două module optice reglabile aliniate cu ochiul utilizatorului, care ar putea oferi corectarea vederii și să permită vizualizarea conținutului 3D. Apple a descris acest lucru ca oferind o experiență personală de vizionare media.

LA al patrulea brevet din 2008 a acoperit un cadru pentru căști video similar cu Google Glass, care ar permite unui utilizator să-și gliseze iPhone-ul sau iPod-ul în căști pentru a furniza video. Setul cu cască a fost descris ca un produs de realitate augmentată care le-ar permite utilizatorilor să facă lucruri precum să vizioneze un videoclip sau să verifice e-mailurile în timp ce țin cont de împrejurimile lor.

Dincolo de brevetele legate de căști, Apple a depus, de asemenea, brevete care descriu alte moduri în care funcțiile de realitate virtuală și augmentată ar putea fi implementate în dispozitivele sale. O cerere de brevet din 2009, de exemplu, a acoperit afișaje 3D echipate cu cameră care s-ar schimba în perspectivă în funcție de poziția relativă a utilizatorului.

Un astfel de afișaj ar detecta mișcarea capului, permițând utilizatorului să-și miște capul pentru a privi o imagine 3D din unghiuri diferite, încorporând în același timp elemente ale mediului utilizatorului.

Brevetele din 2010 și 2012 au descris utilizarea senzorilor de mișcare pentru a crea o interfață 3D pentru dispozitivele iOS folosind tehnici de realitate augmentată. Apple a descris interfața ca fiind o „camera virtuală” navigată prin manipularea orientării dispozitivului prin senzori încorporați sau prin gesturi.

În 2011, Apple a depus un brevet pentru o funcție de realitate augmentată în aplicația Hărți, legată de cartografierea distanței până la repere notabile. Cu camera, un utilizator poate privi zona din jurul lor și poate obține estimări în timp real ale distanței dintre două puncte, împreună cu suprapuneri de informații relevante.

Un brevet depus în 2014 și acordat în 2017 acoperă un sistem mobil de realitate augmentată capabil să detecteze obiecte din mediu și să le suprapună cu informații virtuale prin utilizarea camerelor, a unui ecran și a unei interfețe cu utilizatorul. Apple descrie sistemul ca fiind ideal pentru un afișaj montat pe cap, dar arată și că este folosit în smartphone-uri.

Apple a lucrat la o tehnologie de realitate virtuală care ar putea fi utilizate în vehiculele autonome . Mai multe brevete Apple descriu un sistem care include un sistem de realitate virtuală în mașină cu o cască VR purtată pentru a oferi divertisment și pentru a atenua răul de mașină din sarcini precum citirea și lucrul în timp ce vehiculul este în mișcare.

LA Cerere de brevet iulie 2020 acoperă posibile metode de introducere cu Apple Glasses, descriind un sistem în care ochelarii folosesc senzorul de căldură cu infraroșu pentru a detecta când cineva atinge un obiect din lumea reală, permițând ochelarilor să proiecteze apoi comenzile pe o suprafață a lumii reale.

Cu această metodă, ochelarii Apple ar putea proiecta în interfața de control AR pe orice obiect real din lumea reală pentru un tip de efect de suprapunere de realitate mixtă.

Apple în februarie 2021 a depus o serie de brevete legat de munca sa pe un set cu cască de realitate mixtă despre care se zvonește, cu brevetele care acoperă elemente de design, ajustarea lentilelor, tehnologia de urmărire a ochilor și software.

Apple a dezvoltat mai multe metode pentru a face un set cu cască mai confortabil de purtat, menținându-l în siguranță și blocând lumina, în plus, există un sistem detaliat de ajustare a lentilelor care utilizează fluid pentru a muta fără probleme lentilele pentru a face potrivirea personalizată pentru fiecare utilizator.

Apple detaliază, de asemenea, un sistem de urmărire a ochilor care folosește lumina infraroșie pentru a detecta poziția și există, de asemenea, un brevet despre modul în care documentele ar putea fi editate într-un spațiu virtual 3D folosind căștile și detectarea gesturilor.

Apple are sisteme brevetate pentru înregistrarea video de la un set cu cască, unde senzorii încorporați de urmărire a privirii ar putea oferi o indicație despre locul în care se uită o persoană în prezent, ceea ce ar putea direcționa o cameră încorporată pentru a înregistra scena în care sunt poziționați ochii utilizatorului, în loc să înregistreze pur și simplu ceea ce este în fața utilizatorului.

O altă cerere de brevet depusă în februarie 2021, a arătat că Apple cercetează un dispozitiv montat pe degete, cu o serie de senzori și feedback haptic, pentru a fi utilizat ca dispozitiv de control pentru un set cu cască de realitate mixtă.

Dispozitivul de control are o formă care permite utilizatorilor să simtă obiectele din împrejurimile lor în mod natural și pot constata cu precizie modul în care utilizatorul își mișcă degetul și interacționează cu suprafețele. Se spune că sistemul este atât de precis încât poate detecta cât de tare apasă un utilizator pe o suprafață și direcția exactă a acestei forțe, oferind feedback haptic ca răspuns.

Împreună cu o cască AR sau VR, Apple spune că acest dispozitiv montat pe degete ar putea „oferi unui utilizator senzația de a interacționa pe o tastatură fizică atunci când utilizatorul atinge cu degetul pe suprafața mesei” sau „permite unui utilizator să furnizeze joystick-ul. -type input' pentru jocuri folosind doar mișcarea vârfurilor degetelor utilizatorului.

Data lansării

Analistul Apple Ming-Chi Kuo a declarat în octombrie 2021 că viitoarele căști de realitate mixtă au a fost amânată cel mai devreme până la sfârșitul anului 2022, producția urmând să înceapă în al patrulea trimestru din 2022.

Bloomberg consideră, de asemenea, căștile AR/VR la care lucrează Apple vor apărea în 2022, în timp ce ochelarii AR care sunt în dezvoltare vor apărea la o dată ulterioară. Informatia a sugerat că o cască AR/VR va fi lansată în 2022, urmată de ochelari inteligenți în 2023, dar aceasta este o cronologie mai devreme decât au indicat alte surse pentru produsul ochelari.

Se presupune că Apple este în urmă cu testarea ochelarilor inteligenți care sunt în lucru, ceea ce ar putea duce la întârzieri. Apple trebuia să intre în a doua fază de dezvoltare a ochelarilor la începutul anului 2021, dar testarea fazei a doua nu a început încă, așa că producția de volum în primul trimestru al anului 2022 este neasteptat .

Analiștii Morgan Stanley au spus recent că căștile AR se „apropie de decolare” pe baza numărul de brevete Apple a publicat. Analiștii cred că portofoliul de brevete Apple pentru căștile AR/VR este similar cu portofoliul de brevete pe care l-a construit înainte de lansarea Apple Watch.

Planuri viitoare AR/VR

Analistul Apple Ming-Chi Kuo crede că Apple ar putea planifica „lentile de contact” de realitate augmentată care ar putea lansa cândva în anii 2030.

Potrivit lui Kuo, lentilele vor aduce electronicele din era „calculaturii vizibile” la „calculaturii invizibile”. Nu există „vizibilitate” pentru lentilele de contact în prezent și nu este un produs garantat pe care Apple îl va dezvolta.