Computational Reprography

Computational Reprography

Dr.Neumann László, Girona, 2009
Basa János, Budapest,  Hegedüs Ramón, Girona

 

Az új technológia egy hatékony és döntően újszerű megoldást kínál festmények és tárgyak fényképezésére. A technológiának még nem adtunk végleges fantázianevet, ugyanis nehéz tömören kifejezni azon problémákat, jelenségeket, amelyekre egyidejűleg kínál megoldást. Az eddigi előzetes kísérletek látványosan mutatták a döntő újdonságot és a módszer erejét.

Jelenlegi reprográfiai megoldások

A jelenleg használt módszerek (leszámítva a még helyenként használt műszaki fényképezőgép + nagyformátumú film megközelítést) vagy digitalis hátfallal, vagy vonalszenzoros szkennelö megközelitéssel dolgoznak. A szkennelés igen nagy méretű festmények esetén és sokszor multispektrális módban (akár UV és közeli infrát is beleértve) használatos inkább, ahol a festmények, mint kulturális örökség hosszútávra szóló és átfogó rögzítése, archiválása a fő szempont. Létezik még hibrid megoldás is, amely sok – kissé átfedő – állóképpel csempézi le a nagyméretű festményt és optimalizálva egységesiti akár 10-20 Gigapixeles mozaikképpé a reprodukciót. Az említett nagyméretű ill. multispektrális megközelítések speciális alkalmazások, amelyekkel a múzeumok óriási fesményanyagának csak kiemelt töredéke rögzíthető. Másrészt e technikák sem oldanak meg bizonyos alapvető kérdéseket, ill. tüntetnek el egyes zavaró jelenségeket, mint pl. bizonyos tükröződéseket, hogy csak egyet emeljünk ki a problémákból. Végezetül a mai technikákkal lassú és nehézkes munka egy jó reprodukció elkészítése.

 

Mit várunk el egy pontos reprodukciótól?

A festményeken használt festékek, lakkok egyike sem ideálisan diffúz jellegű. Azaz fényerőssége, spektrális megoszlása, adott fényforrás ill. megvilágítás melletti színe függ attól, hogy milyen irányból nézzük. A legközismertebb jelenség, amikor egy múzeumban kiállított képet hol innen, hol onnan kell néznünk, mert tükröződik.

És sajnos nem is létezik olyan nézőpont, ahonnan az egész festményt egyidejűleg tükröződésmentesen látnánk.

A festékek, mint minden más fényvisszaverő anyag, nem jellemezhetőek egyetlen színnel, hanem pontszerü fényt feltételezve a fény és a megfigyelö irányától is függő bidirekcionális reflektancia (BRDF) függvényel.

Vannak fémesen csillogó anyagok, vannak tompán tükrözöek, majdnem diffúzak és vannak retro-reflektivek, melyek a fény irányába többet vernek vissza, mint a fő tükrözö irányba. A holdat azért látjuk szinte siklapnak, és nem gömbnek, mert egy speciális retro-reflektiv porózus anyag borítja. A fesmények minden pontját is a fény hullámhosszától függő BRDF jellemzi. A BRDF-ek néha nem helyettesíthetőek egyetlen színnel, mint pl. egyes szinváltó selymek esetén, melyek zöldesek, de néha lilának látszanak a fény és néző helyzetének változásától függően. A festmények esetén tehát nemcsak a felszíni védőlakkréteg tükrözödései függ a lámpa-nézöpont viszonyoktól, hanem maga a festék is laposabb szögben pl. a sárgászöldből egy hideg neutrális sötétzöldbe válthat, vagy egyes sötét, de izzó (nagy relative telítettségü) szinek sötétedhetnek el a világitás vagy nézöpont változtatásakor. A festmények többsége ezen túl ecsetnyomokat (azaz 3D mikro-strukturákat, sőt a kortárs múvészetben néha kilószámra mérhető festéket) tartalmaz. Az régi olajfestmények felülete idövel apró fazettákra esik szét, amelyek szélén árnyékjelenségek léphetnek fel. A felületi koszosodás és a védölakk opálosodása gyakran méginkább irányfüggő, mint az alapfestéké.

 

Milyen RGB pixel-szin fejezi ki hüen, jellemzően a BRDF komplexitását, amit a festményt szemlélö ember világosan, bár öntudatlanul érzékel és értelmez? Erre a kérdésre kerestük a választ az új technologia megalkotásakor.

A BRDF-nek van egy fontos reciprocitási tulajdonsága, amit ki is használunk a módszerben. A fény és lámpa felcseréleskor a BRDF értéke nem változik. Azaz azt, hogy különböző (számunkra kedvezöbb, vagy a lényeg szempontjából kifejezöbb) irányokból milyen szint látnánk, azt helyettesíteni tudjuk a fix kamera melletti különböző fényforrások esetén kapott válasz-színekkel. Ez a sok beépített összefüggés és résztechnika egyike.

 

 

Néhány elvárt minimumfeltétel

Általánosságban egy gyors, igen termelékeny, teljesen automatikus és színhelyes reprodukciós módszert szeretnénk, az ereményképen a nemkívánt csillogások nélkül és teljesen egyenletes megvilágítással.

  1. Ha egy ismert pl. Gretag-Machbeth szintáblát helyezünk a reprodukciós állványra, akkor ellenörizhető kis hibahatáron belül pontosan a színtesztet önmagát szeretnénk visszakapni, azaz magas szintani pontossággal. Mindezt automatikusan, azaz anélkül, hogy mérni vagy állítgatni kéne bármit is.
  2. Ha egy homogén és diffúz szürke lapot helyeznénk el az eredeti-tartón, akkor azt konstans értékkel és szürkeként szeretnénk viszontlátni. Tehát szini eltolódások nélkül, de ez már az 1. követelményből is következik. Sokkal fontosabb a homogén szó, ami itt azt jelenti, hogy az eredményül kapott képmártixon vándorolva gyakorlatilag ugyanazt a közelítőleg R=G=B számhármast akarjuk visszakapni minden pixelen. Tehát a megvilágítás teljes egyenletességét, konstans irradianciát várunk el, ill. ezt szimuláljuk a módszerrel. Továbbá a képsarkok felé a lencsehibából adódó esetleges sötétedéseket is korrigálnia kell a rendszernek.
  3. Ha akár a szinteszt táblát, akár a szürke lapot belakkozva, esetleg egy üveglapot eléje téve fényképeznénk le, akkor is ugyanúgy, mindenféle tükröződés nélkül szeretnénk viszontlátni a képet, mintha üveglap nélkül lenne fotózva.

A fenti követelmények csak a minimumok voltak az új módszer létrehozásakor. Mindezek megvalósíthatóak polárszürők alkalmazása nélkül. Vizsgáltuk a poláros fény szerepét és lehetőségeit is. Mivel “imaging polarimety”-vel a ELTE-vel és a gironai egyetemmel együttmüködve foglalkozunk és sok gyakorlati tapasztalunk van, ezért kézenfekvő a reprográfiai alkalmazása. Előnye az egyszerű “globális” polármódszerekkel szemben, hogy pixelenként optimalizálva tudjuk kiszűrni a poláros komponenst, ill. azt bizonyos szemmel nem látható részletek megjelenítésére felhasználni. A klasszikus megközelités esetén a polárszürőnek van egy olyan szögállása, amikor a legjobban eltünnek a lineáriasan poláros zavaró komponensek.

 

Az imaging polarimetry módszerrel az optimális depolarizációt pixelenként eltéröen és automatikusan tudjuk megvalósítani, sőt a szemmel nem látható két poláros komponenst – mint két külön segédképet színcsatornánként – egyéb célokból el is tudjuk tárolni. A projekt második fázisában alkalmazni fogjuk e megközeltést.

Hangsúlyozzuk azonban, hogy az alapmódszerünk is, mely több megvilágítást felhasználva a computational photography és colorimetry berkein belül maradva számolja ki az optimálisan szinhelyes ill. a festék-BRDF legkarakterisztikusabb szinét – egy látszólagos, virtuálisan vándorló nézőpont-sorozatnak megfelelően – csillogásmentesen. Alapmódszerünk jobb eredményt ad, mint arra bármely globális polárszürős megközelités képes lehet.  Olyan képet ad, ami szinhelyes, pontosabb a konkurrens eljárásoknál, de egyetlen valós nézöpontból se lehet pont igy látni képet.

A kapott kép geometriailag és szintanilag is pontos, igy nagyobb képek mozaikolására is ideális inputot jelent, ha a kép-kamera poziciót X-Y irányokban megfelelöen, lehetőleg automatizálva léptetjük.

 

Kamera kalibrálás

A módszer egy egyszeri kamera kalibrációval kezdödik. Adott kamerára, annak egyedi szenzorára ki kell mérjük az rgb alapszinek válaszgörbéinek nem-linearitását. Ezek után a (raw formátumú) nyersképek értékeire alkalmazva az válaszfüggvények inverzét, megkapjuk színcsatornánként a megvilágítással arányos számértékeket. Ez fontos, mert minden additív szinkeverés ill. fényösszeadás csak lineáris skálán történhet.

Ezt követi a szintani kalibráció, amely a megvilágitás térbeli intenzitás-egyenletlenségeire érzéketlen, csupán az irányszerinti spektrális állandóságot követeljük meg (pl. a LED-ek igen jók erre, de a vakuk is).

A color chart fotóját feldolgozva olyan lineáris r,g,b és egyéb finomkorrekciós tagokat tartalmazó formulánk lesz, ami egyenértékü egy pixelenkénti tristimulusos (azaz pl. CIE-XYZ) színmérővel.  A finomkorrekciók küszöblik ki a csatornák kereszteffektusait, és akadályozzák meg pl. a kékek ibolyába, vagy a sárga színek enyhe narancs vagy zöld felé tolódását.

A perceptuális és nyomtatási kérdések

Ehelyen a technikai-algorimikai megvalósítást nem kívánjuk részletezni. Néhány fontos aspektust azonban megemlítünk.

Az emberi színlátás, a human vision komplex rendszere számos fehér és más szinegyensúlyi, vagy a nagy dinamikaterjedelemből eredő korrekciós problémát megold. Zajos környezetból is kihámozza a jelet, változó BRDF effektusokhoz is egyértelmű színeket tud rendelni, pl. aranyozott felületekhez. Viszonylag rövid adaptáció után egy festmény igen sötét részein is színkülönségeket, telítettségeket, színezeteket észlelünk.

Egy színmérő műszer szerint is színhelyes reprodukció kinyomtatva sokat veszíthet az eredeti kép összbenyomásából. Archiválási célokra a szinhelyes és lehetőleg 48bit/pixeles alapverziót kell eltárolni, pl. AdobeRGB színtérben. Nyomtatásnál azonban figyelembe kell venni a gamut-ot, sőt a gamut kritikus részeit, ahol nagyobb az átlagos szinvisszadási hiba. Részletkinagyításnál más az adaptációs környezet világossága, mint az egész képet szemlélve, ami szintén megváltoztatja színmegjelenést (color appearance), sőt a megkülönböztethető részleteket, kontrasztokat is. A sötét szineknél a veszteséget ilyen okok és a nyomtató kisebb dinamikatartománya együtt okozzák. Ezek perceptuális kompenzálása speciális, a printer ICC profiját, a human visión sajátosságait figyelembevevö szinmódosításokat igényelnek, ami messze túlmutat a Kodak szürke ékkel vitatható problámák körén.

 

Hivatkozások:

1] The Reproduction of Colour (The Wiley-IS&T Series in Imaging Science and Technology),   by R.W.G. Hunt, John Wiley & Sons; 6th edition (November 15, 2004).

[2] Color Appearance Models (The Wiley-IS&T Series in Imaging Science and Technology), by Mark D. Fairchild, John Wiley & Sons; 2nd edition (February 4, 2005)

[3] Colour Engineering: Achieving Device Independent Colour (Hardcover), by Phil Green (Editor), Lindsay MacDonald (Editor), John Wiley & Sons (November 5, 2002)

[4] The Image Processing Handbook, Fourth Edition (Hardcover), by John C. Russ, Publisher: CRC; 4th edition (July 26, 2002)

5] Raskar, Ramesh et al., Stylized rendering using a multi-flash camera,
US Patent: 20040212725, 2004.

[6] Raskar, Ramesh; (Cambridge, MA) ; Ilie, Adrian; (Chapel Hill, NC) ; Yu, Jingi; (Cambridge, MA), Enhancing low quality images of naturally illuminated scenes,
US Patent: 20040184667, 2004.

[7] Removing Photography Artifacts Using Gradient Projection and Flash-Exposure Sampling, Siggraph 2005, Amit Agrawal, Ramesh Raskar, Shree Nayar, Y Li, Mitsubishi Electric Research Labs