Om de omgeving te bewaken en door de echte wereld te navigeren, moet de robot in staat zijn om beelden en omgevingsmetingen te verkrijgen onder verschillende achtergrondverlichtingsomstandigheden. De afgelopen jaren hebben onderzoekers en ingenieurs over de hele wereld gewerkt aan de ontwikkeling van steeds geavanceerdere sensoren die kunnen worden geïntegreerd in robots, bewakingssystemen of andere apparaten die hun omgeving kunnen waarnemen.
Volgens Memes Consulting hebben onderzoekers van de Hong Kong Polytechnic University, Peking University, Yonsei University en Fudan University onlangs een nieuw type bionische vision-sensor ontwikkeld die een mechanisme gebruikt dat de functie van het netvlies kunstmatig simuleert en kan worden gebruikt in een verscheidenheid aan gegevens werden verzameld. onder lichtomstandigheden. Deze bionische zichtsensor is gebaseerd op fototransistoren gemaakt van molybdeendisulfide.
Foto van de biomimetische vision-sensorarray (links); schematische structuur van de vision-sensoreenheid en het optische microscoopbeeld (rechts)
"Our research team started work on optoelectronic memory five years ago," said Yang Chai, one of the researchers who developed the vision sensor. "This emerging device can output light-dependent and history-dependent signals, enabling image integration. , Weak signal accumulation, spectral analysis and other complex image processing functions, the multi-functional integration of sensing, data storage and data processing into one device."
In 2018 publiceerden Yang Chai en zijn collega's het eerste artikel over opto-elektronisch geheugen, waarin ze een resistief schakelend geheugenapparaat introduceerden dat lichtdetectie en logische bewerkingen kan uitvoeren. Een jaar later introduceerde het team een nieuw type fotoresistief willekeurig toegankelijk geheugen met drie verschillende functies. Het nieuwe apparaat kan met name de omgeving detecteren, de informatie in het geheugen opslaan en neuromorfe visuele voorbewerkingen uitvoeren.
"We studied the concepts of near-sensor and in-sensor computing paradigms in 2020 and published our views in the field." Yang Chai continued, "This new research on biomimetic vision sensors builds on our On top of all previous efforts."
The intensity of ambient natural light varies widely, with a total range of 280 dB. When the human retina senses external light signals, it adjusts the light sensitivity of its photoreceptors (i.e., rods and cones) according to the strength of the signal. This ultimately enables the human eye to gradually adapt to varying levels of lighting, allowing it to see clearly in both dark and bright environments, an ability known as "visual adaptation."
"For example, when you enter a dark cinema from a bright hall, you can hardly see anything at first, but after a while in the cinema, it becomes easier to see things," explains Yang Chai. "This phenomenon is called scotopic adaptation. Conversely, if you go from a dark movie theater to a sunny outdoors, you'll feel very dazzled at first, and it takes a while to get used to seeing what's going on around you. The process The opposite of dark adaptation is called photopic adaptation."
The main goal of Yang Chai and his colleagues' recent work is to build a vision sensor inspired by the structure and function of the human retina. To do this, they first started by studying the human retina and then tried to design perceptual strategies that would allow them to artificially simulate visual adaptations.
State-of-de-art beeldsensoren op basis van CMOS-technologie hebben doorgaans een beperkt dynamisch bereik van 70 dB. Dit dynamisch bereik is echter veel kleiner dan het verlichtingsbereik van natuurlijke scènes (280 dB).
"To achieve visual perception over a wide range of light intensities, researchers have explored the use of controlled optical apertures, liquid lenses, adjustable exposure times, and denoising algorithms in post-processing," said Yang Chai. "However, these Methods often require complex hardware and software resources."
Dark and light adaptation of biomimetic vision sensor arrays. (a) Schematic of the dark adaptation test: recognition of low-light images using an 8 x 8 pixel array in a dark environment. (b) Schematic diagram of light adaptation test: recognition of high-illuminance images using an 8 x 8 pixel array in a bright environment. (c) Dark adaptation process to identify the "8" pattern. (d) The photoadaptation process to identify the "8" pattern.
Opto-elektronische apparaten met een licht-adaptief zicht en een breed detectiebereik op sensorische terminals kunnen zeer waardevolle toepassingen hebben. Ze kunnen bijvoorbeeld helpen bij het verbeteren van de prestaties van computer vision-tools, het verminderen van de hardwarecomplexiteit die nodig is om robots of andere detectiesystemen te bouwen, en het verbeteren van de nauwkeurigheid van beeldherkenningssystemen.
Hoewel andere onderzoeksteams in het verleden opto-elektronische apparaten hebben ontwikkeld die zich in het verleden aan verschillende lichtomstandigheden kunnen aanpassen. De meeste van de eerder gedemonstreerde apparaten kunnen echter alleen het lichtaanpassingsmechanisme van het netvlies nabootsen. Het proces van aanpassing aan het donker is tot nu toe moeilijker te simuleren gebleken.
"There is still a long way to go to fully replicate the visual adaptation function of the retina," explains Yang Chai. "To achieve this, we designed a phototransistor-based vision sensor using ultra-thin semiconductors that can The degree of dark adaptation and light adaptation in the same device was controlled by applying different gate voltages. In this way, we simulated photoreceptors and horizontal cells in the retina and successfully achieved a sensing range of 199 dB. Vision-adaptive devices in biomimetic sensors."
Kunstmatige simulatie van fotoreceptoren en horizontale cellen in het netvlies voor visuele aanpassing (donkeradaptatie en lichtadaptatie)
De biomimetische zichtsensor ontwikkeld door Yang Chai en collega's is gebaseerd op fototransistoren gemaakt van een ultradun halfgeleidermateriaal dat bekend staat als molybdeendisulfide. De fototransistoren die ze gebruikten, hebben meerdere ladingsvaltoestanden die elektronen in het kanaal kunnen vangen of vrijgeven bij verschillende poortspanningen.
Ultimately, these states allow researchers to dynamically tune the conductance of their devices. This, in turn, allowed them to artificially simulate the dark- and light-adaptive mechanisms of the human retina, thereby expanding the range of their sensor's perception of different lighting conditions.
"Our bionic vision sensor has several advantages and features," said Yang Chai. "First, the visual adaptation function is implemented in a single device, which greatly reduces the footprint. Second, multiple functions can be implemented on a single device. , including light sensing, memory, and processing. Finally, dark and light adaptation under different light intensities can be achieved by controlling its gate voltage."
Yang Chai en zijn collega's evalueerden de bionische zichtsensor in een reeks tests en ontdekten dat deze de functie van het menselijke netvlies effectief kon nabootsen, waardoor opmerkelijke resultaten werden bereikt bij zowel de aanpassing aan het donker als aan het licht. Bovendien heeft het een aanzienlijk hoger perceptueel bereik (199 dB) in vergelijking met eerder voorgestelde oplossingen.
"Our vision sensor can enrich machine vision functions, reduce hardware complexity, and achieve high image recognition efficiency," said Yang Chai, "All these advantages are available in areas such as autonomous driving, face recognition, and industrial manufacturing in complex lighting environments. great application prospects."
In toekomstige studies zijn de onderzoekers van plan om de prestaties van de vision-sensor verder te verbeteren, en deze ook te gebruiken om grootschalige-systemen bestaande uit sensorarrays te fabriceren. Idealiter willen ze deze sensorarray op een flexibel of halfbolvormig substraat bouwen om een breder gezichtsveld mogelijk te maken.
"One area that needs improvement is the adaptation time of our vision sensor, as it is still not enough to support machine vision applications." Yang Chai added, "Our goal is to reduce the adaptation time to the microsecond level. In addition, the vision sensor array scale Further improvements are also needed. Our near-term target for array size is greater than 100 x 100 pixels. Finally, the heterogeneous integration of vision sensors and post-processing units, including silicon-based control circuits, is a very important step toward practical applications."
GMKJ Technology is nauw betrokken bij gezonde en slimme lichtbronnen en biedt een volledig assortiment UVA UVB UVC LED-, infrarood IR LED VCSEL-producten en -oplossingen op de markt. Het heeft honderden hoogwaardige-kwaliteitspartners in binnen- en buitenlandse markten die gezamenlijk het gebruik van lichttechnologie promoten om een gezond en slim leven te creëren. .
