OmniTouch

En av de store revolusjonene innen databehandling har vært berøringsskjermer. De brakte en ny måte å samhandle med datamaskinen på, enten med en spesiell peker eller med fingeren. I 2011 gikk Microsoft videre med introduksjonen av OmniTouch, et prosjekt som gjorde enhver overflate berørbar. Grunnideen er å montere et kamera og en projektorenhet på skulderen, som projiserer skjermen og leser brukerens tastetrykk. Mulighetene er uendelige, og lar oss gjøre om hånden, veggen, et ark eller en hvilken som helst annen overflate til en berøringsskjerm .

Slik fungerer OmniTouch: gjenkjenne tastetrykk

Den viktigste delen av OmniTouch-prosjektet er sporingen av posisjonen og dybden til fingrene, for å vite hvor brukeren berører. Til dette ble et dybdefølsomt PrimeSense-kamera brukt i prototypen. I motsetning til et vanlig kamera som måler farger, måler PrimeSense avstanden til hvert punkt i bildet fra kameralinsen. Nøyaktigheten på 1 mm og minimumsrekkevidden på 20 cm er hovedfordelene i forhold til Kinect-kameraet, som opprinnelig ble brukt i prosjektet.

"

For å finne fingrene, fanger OmniTouch først dybdekartet (A). Deretter beregnes helningskartet >"

I (B) kan du se det kartet oversatt til farger: rødt betyr at det er mindre dybde i positiv retning av X- eller Y-aksen (oppover eller til høyre) og blått betyr at det er mindre dybde i negativ retning av X- eller Y-aksen (ned eller til venstre).Lilla betyr at det knapt er noen endring i dybden.

Med dette kartet ser programvaren etter vertikale sylindriske seksjoner, en overflate som nærmer seg kameraet, for så å bli værende og til slutt beveger seg bort. Hva har vært en finger hvis du kjører den fra den ene siden til den andre, wow. På fargekartet ser du etter en rød seksjon, deretter en lilla seksjon, deretter en blå seksjon, alt på samme vertikale akse.

Mulige kandidater filtreres for høyde, for å filtrere ut alt som ikke kan være en finger (for eksempel kan en 2-millimeter høy sylinder ikke gjenkjennes som en finger, så den blir forkastet). I figur (C) kan du se alle fingerseksjonene identifisert.

Når dette er gjort, bringes alle de vertikale seksjonene sammen for å danne fingeren (figur D). Fingre som kan være for korte kastes, og det antas at siden brukeren er høyrehendt, er den venstre delen av fingeren tuppen.Og vips, vi vet nå hvor brukeren peker på .

Nå, hvordan vet vi om fingeren berører overflaten? De kaller det flomfyll, men det blir mer kjent hvis jeg forteller deg at det er som å fylle med malingsbøtta med Paint.

Teknikken er enkel: finn midtpunktet på fingeren, og begynn å fylle piksler opp, venstre og høyre, med en toleranse på 13 millimeter. Det vil si at de bare fyller en piksel hvis forskjellen mellom dybden og midtpunktet på fingeren er mindre enn 13 millimeter.

På denne måten, hvis fingeren din ikke berører noe, vil bare pikslene som tilsvarer fingeren fylles. Hvis du berører hånden, vil mange flere fylles. På bildet kan du se hva som skjer hvis fingeren er i luften (venstre) eller berører hånden (høyre). Når en viss margin av fylte piksler passeres, vil programvaren sende et trykk eller klikk på det tilsvarende stedet.

Hvordan OmniTouch fungerer: Projisere bildet

Selv om fingergjenkjenning er den sentrale delen, kan vi ikke glemme at OmniTouch også må projisere et bilde på en hvilken som helst overflate. Dybdekammeret brukes også til dette. Alle overflater i bildet oppdages ved hjelp av en tilkoblet komponentalgoritme, som meget effektivt oppdager sammenkoblede punkter i bildet.

Når flatene som er mindre enn en hånd har blitt kastet, fortsetter vi med å fikse et senter eller referansepunkt for å projisere bildet. Dette punktet hjelper til med å oppdage orienteringen til overflaten og gjør det derfor mulig å lage et bilde som ikke ser forvrengt ut.

Det neste vanskelige punktet kommer når det gjelder å oppdage størrelsen på overflaten.Siden kantene på overflater ikke kan gjenkjennes godt nok, bruker OmniTouch gjennomsnittet og standardavviket til komponentpunktene til å klassifisere det i fem punkter: hånd, arm, notatbok, vegg og bord. Hver av dem har en viss størrelse og et senter for bildet.

Programvaren genererer bildet som skal projiseres med alle dataene, og forvrenger det slik at det vises riktig på overflaten. Den sender deretter bildet til projektoren, som vil vise bildet på hvilken som helst overflate det er.

Nøyaktig teknologi med mange muligheter

Tester som brukes til å måle nøyaktigheten til OmniTouch.

I testing viste OmniTouch seg å være en veldig presis teknologi. 96,5 % nøyaktighet når det kommer til å gjenkjenne et klikk, en veldig god figur og enda mer med tanke på at det er en prototype.Når det gjelder størrelsen på grensesnittet, med knapper på 2 centimeter i diameter, vil 95 % av tastetrykkene bli gjenkjent.

Denne maksimale størrelsen er nødvendig for et grensesnitt projisert i hånden. På andre overflater lenger unna, for eksempel et bord eller en vegg, kan den reduseres til 15 millimeter, mer eller mindre samme størrelse som anbefales for en knapp på en vanlig berøringsskjerm .

"

Når det gjelder mulighetene, er de uendelige. Med prototypen ble det laget en talerstol for å male: på veggen tegnet du og i venstre hånd valgte du fargene. Brukes også som highlighter>"

Men det mest interessante er det de nevner på slutten av dokumentet: mulighetene OmniTouch åpner opp når vi slutter å vurdere todimensjonale overflater, og utnytter kroppens former for å endre hvordan vi samhandler med datamaskinen.

"

OmniTouch er et virkelig spennende prosjekt, både i sin teknikk og i sine muligheter. Vi vil snakke om ham igjen snart i den spesielle Fremtiden ifølge Microsoft>"

I Xataka Windows | Fremtiden ifølge Microsoft Mer informasjon | OmniTouch