Úterý, 29.Leden 2013
Viděl jsem budoucnost. Viděl jsem Lytro.
Před pár dny jsem měl možnost vidět v akci fotoaparát Lytro. Kouzla, která slibuje, opravdu umí. Přístroj za $500 se obsluhuje jako “point-and-shoot” fotoaparát (rozuměj “pro blbé”) a jeho skutečné kouzlo se projeví až po stažení snímku na počítači. Snímek totiž obsahuje krom 2D informace i část informace o hloubce. Během cca 20 sekund (v případě MacBooku) se obrázek přepočítá tak, že je pak možné libovolně (velmi rychle) přeostřovat tak, jako bychom měli spoustu (řekněme 100) stejných snímků, jen zaostřených různě daleko od fotoaparátu nebo z nich lze poskládat obrázek ostrý “odpředu dozadu”. Přitom je možné fotografovat “s naplno otevřenou clonou”, takže je možné zkrátit expoziční čas. Opravdu kouzelná věc. Navíc je možný ještě jeden trik: po dalším počítání lze obrázek dokonce velmi mírně otáčet! Jako bychom se mohli dívat různými částmi původního objektivu (subaperturní obraz).
Lytro není sám. Podobné přístroje mají už svou historii, dnes je vyrábí například Raytrix, Adobe, umí je dělat některé univerzity. Celé kouzlo stojí na myšlenkách 5D/4D světelného pole Michaela Faradaye, integrální fotografie Gabriela Lippmanna, v laserové optice se můžete setkat se Shack-Hartmannovým čočkovým polem a pravděpodobně většina z nás viděla “hýbací” nebo “3D” pohlednice. Lytro je “jen” první plně plenoptický fotoaparát “pro lidi”.
Plenoptický (”Plenty-of-optics”, tedy otrocky “mnohaoptický”) fotoaparát se od klasického digitálního fotoaparátu liší jedinou věcí - polem (nebo spíš fólií) mikročoček (v případě Lytro o průměru 14um) položenou na snímacím čipu. Výsledný obrázek je pak vlastně velmi speciálním případem prokládaného obrazu, ze kterého se dá dopočítat původní - v mnoha podobách. Po troše kalibrace je fólie mikročoček a software v podstatě všechno, co je potřeba k tomu, aby se z obyčejného fotoaparátu stal plenoptický. (Existuje i jednodušší varianta, kde čočky nahrazuje jen děrovaná/potištěná fólie, honosně nazývaná kosinový filtr, ale tam už se ztrácí citlivost čipu).
Cena takové mikročočkové fólie? Při masové výrobě pakatel.
Kde je háček?
V prvé řadě rozlišení. 2D obrázek z plenoptického fotoaparátu má rozlišení zhruba takové, jaký má počet mikročoček, ne počet pixelů čipu. Počet pixelů pod jednou čočkou udává velmi zhruba “hloubkové rozlišení” (na kolik různých vzdáleností je možné data následně softwarově doostřit). Lytro má sice 10Mpix čip, ale počet mikročoček jen 150 000. Rozlišení kteréhokoliv z obrázků, který si z jednoho zmáčknutí spouště na počítači vyrobíme, tak má i s trochou interpolace jen 0,5Mpix. Nad tím dnes ohrne nos každý puberťák se smartphonem. Mikročočky však ještě mají rezervu ve zmenšování (než v rozměru několika um narazí na difrakční limit a budou se muset použít triky “optiky blízkého pole”).
S tím, jak by se zvedalo 2D rozlišení plenoptických fotoaparátů, bude se zvyšovat nárok na datový tok. Na jednu mikročočku připadá cca 20-200 pixelů čipu. To ale znamená adekvátně větší nárok na uložení a zpracování dat! Pokud se bude držet Moorův zákon, znamenalo by to ale jen cca 7-15 let, než by výpočetně-datový výkon fotoaparátů zvládnul ukládat plenoptická data v rozlišeních, na které jsme zvyklí dnes. Konečně má alespoň ta honba za megapixely na čipu nějaký smysl.
Nevím, jestli se už zavedla nějaká jednotka plošného rozlišení pro plenoptické fotoaparáty, protože počet pixelů čipu má vypovídací hodnotu spíš podružnou oproti počtu mikročoček, zavedl jsem si tu prostou 1 lens = 1 čočka (dává to smysl v latině i v angličtině).
Občas říkám - chceš-li být dnes zajímavý a za 50 let směšný, staň se futurologem. Přesto si neodpustím malý výhled, řekněme 5-20 let dopředu.
Co se s plenoptickými principy dá dělat a co by nás mohlo čekat?
- “Téměř 3D” kamera pro každého
Máme-li fotoaparát, máme i kameru. Komplikace je množství dat, ale už dnes umí velmi běžně kamery Full-HD video, které má na vstupu asi takový datový tok, jako by měla “plenoptická kamera” s rozlišením řekněme 100klens. Takové “plenoptické YouTube” by tedy mělo být naprosto reálné už dnes. Ostatně - modul, který by Toshiba chtěla už letos začít dělat ve velkém pro smartphony, už to možná bude umět. Zatím má 0.5Mlens. Dnešní profesionální digitální kamery zachází s videem s rozlišením přes 12Mpix. To už je datový tok pro plenoptickou kameru s klasickým televizním rozlišením. - Volné prohlížení 3D videa
Kdo chodíte na 3D filmy, asi jste zaregistrovali problém, když jste se chtěli podívat na jinou část scény, než na tu, kterou měl filmař na mysli. Pokud byla mimo rovinu ostrosti, věc, na kterou váš mozek zaostří je stále nepřirozeně rozostřená. Bylo by potřeba přepočítat celou scénu jen pro vás. Nebo - natočit nebo napočítat mnoho verzí téhož videa, každou zaostřenou jinak. Což je ale přesně to, co data z plenoptických sensorů umožňují! Stačí pak nasadit brýle, které budou sledovat pohyb vašich očí (existující technologie, lze postavit i řešení v ceně 30 dolarů). Vzhledem k tomu, že po prvotním zpracování se “přeostření” dá řešit jen předpočítanou tabulkou, výkon běžných počítačů (a po nich i tabletů, telefonů…) bude brzy stačit k přeostření obrazu v reálném čase. Ve chvíli, kdy takto poběží pro každé oko jeden kanál, bude zážitek velmi přesvědčivý i při použití “klasického” displeje. Nevýhodou samozřejmě zůstává možnost promítat obraz jen pro jednoho. - Plenoptické kino
Už nyní se ojevují plenoptické (autostereoskopické) 3D displeje (například na Nintendo 3DS). Výhoda - netřeba speciálních brýlí. Nevýhoda - 3D pohled je vidět jen z některých míst. Jak udělat autostereoskopické kino? Plátno z mikročoček + nejspíše zezadu prosvětlované plátno (bude třeba pečlivě hlídat vzájemnou polohu plátna a projektoru). V kině navíc nebude takový problém seřadit sedačky tak, aby diváci seděli právě v těch místech, kde bude efekt v pořádku. Přece jen - displej doma je pohodlný, ale velké plátno je velké plátno… - Věda
Často by byla pro vědce a inženýry k nezaplacení možnost udělat si alespoň přibližný 3D pohled z jediného místa. Často do různých aparatur není vidět tak, aby se dala použít stereometrie z několika fotoaparátů. S plenoptickým fotoaparátem je možné se podívat na profil rázových vln v aerodynamickém tunelu nebo určit polohy prachových částic levitujících v plazmatu (to druhé byla právě ta demostrační ukázka, kde jsem se potkal s Lytro). - Technika
Kdekoliv se bude hodit přehlédnout a zmapovat najednou objekty ve velmi různých vzdálenostech od objektivu aniž by byly velké nároky na rozlišení, je plenoptický fotoaparát/kamera k nezaplacení. Je technicky i výpočetně jednodušší než stereoskopie z více kamer, při správném provedení by měla dosahovat téměř srovnatelné přesnosti. Dovedu si představit aplikace třeba v robotice: I robot s jedním “okem” a poměrně jednoduchým softwarem by se dovedl efektivně vizuálně navigovat. Například pro létajícího špionážního mini-drona schopnost k nezaplacení… I pro průmyslového robota by jistě bylo dobré, kdyby přímo uvnitř “dlaně” měl onu “téměř 3D” kameru, která by dovedla “ruku” robota navigovat mnohem jednodušeji (bez značek) než systém kamer pozorující situaci “zvenku”. - Reklama
Bohužel, reklamě neunikneme a tak krom “morfujících” plakátů nás zřejmě opravdu budou sledovat reklamy jako v Minority report. Když budeme mít velké štěstí, tak budou alespoň anonymní. - Grafické procesory, software a ukládací média
Plenoptický záznam má zhruba stonásobný datový objem než klasický. I když jistě brzo někdo vymyslí šikovné druhy komprese a zpracování dat šité plenoptice na míru, mají výrobci záznamového hardware i grafických procesorů nejméně na 10 let navíc o práci vystaráno.
A spousta věcí, na které jsem jistě zapomněl. Nebo jsem nemístný optimista a “plenoptika pro masy” si bude muset počkat na další generaci nadšenců (což už se různým technologiím stalo)?