A Sony kameraszenzorjait nem túlzás a piac legjobbjainak tekinteni, az Xperiákon túl ugyanis fellelhetők számos Apple, Samsung vagy Huawei sikertermékben. Más kérdés, hogy az utóbbi hármas valahogy csak jobban összerakja a kamerás részt szoftveroldalról, ám szerencsére a Sony az innovációit nem tartja meg saját magának. Pár éve például memóriamodul csatlakozott lapkához, 960 FPS-es, vagy még magasabb képkockaszámú szuperlassítást lehetővé téve, és mostani, Intelligent Vision Sensor (IVS) névre hallgató megoldása is előremutató.

A Sony IMX500 szenzor és a Sony IMX501 szenzorkészlet

Ma rengeteg kamera és arra támaszkodó vizuális szolgáltatás hagyatkozik valamilyen felhőalapú képfeldolgozásra, gondoljunk mondjuk intelligens tárgyfelismerésre vagy termékazonosításra, ami az adatkapcsolaton túl potenciális biztonsági kockázatot rejt, hiszen amit a készülék továbbküld, az út közben illetéktelenek potenciálisan megszerezhetik. Létezik persze dedikált kamerás AI chip, a Google telefonokban ennek Pixel Visual Core a neve, így a készülés saját hardvere végzi az elemzéseket, nem egy a távoli számítógép. Ám ehhez továbbra is ki kell olvasni a teljes szenzorinformációt, amely nagy sávszélességet és energiafogyasztást igényel.

A tárgyak és élőlényeg, mondjuk egy kutya azonosítása a felsős erőforrások helyett a szenzoron történhet

A Sony friss megoldásának az egyik kulcsa, hogy az AI chip és a memória, amely mindenféle témafelismerő és gépi tanulási feladatokat képes ellátni, a szenzoron (egész pontosan a fényérzékelő rész alatt) helyezkedik el, így szenzitív információnak ezt az apró egységet sem kell elhagynia. Másfelől pedig az új szenzorcsomag képes mindig csak annyi metaadatot felismerni és továbbítani, amire épp szükség van. A tulajdonos arcának azonosításához például nem kell a teljes nyers szenzoradatot kiolvasni, ahogy az sem igényli sok adat továbbítását, hogy mondjuk egy bevásárlóközpontban épp hányan sétálnak egy kamera előtt a folyosón. Ebből is látszik, hogy a Sony megoldása nem csak és nem is elsősorban a telefonoknak hozhat előnyt. Okoshangszóróba építve a chip például netkapcsolat nélkül azonosíthatja, ki van épp a szobában, az ő adatait, tartalmait és keresési előzményeit elérhetővé téve.

Az új megoldás járműben is kiköthet, a tulaj azonosításán felül például felismerve és figyelmeztetve, ha az illető elszundított a volánnál. Ehhez sem szükséges a színes-szagos teljes szenzoradat kiolvasása és kielemzése, ahogy egyéb feladatok esetében is jól jön az alacsony fogyasztással járó metaadatok helyi megalkotása, akár drágább, külső képfeldolgozó chipet is kihagyva a képletből. Pénztáraknál szintén bevethető a dolog tárgy- és termékfelismerésre, meggyorsítva a folyamatokat a szalagon.

Tárgyfelismerés a pénztárnál

Az Intelligent Vision Sensor 1/2,3" méretű IMX500 fényérzékelőt vet be 12,3 megapixelen és az érdeklődő gyártópartnerek már kipróbálhatják 10 ezer jen ellenértékben darabonként (31 ezer forint), míg a teljes rendszer a kapcsolódó DSP-vel és AI chippel IMX501 néven fut, 20 ezer jenes darabárral. Az első felhasználói végtermékek 2021-re várható az újfajta szenzorral.