ľ¹Ï¸£ÀûÓ°ÊÓ

De laatste jaren is er grote vooruitgang geboekt in het onderzoek naar visuele kunstmatige intelligentie (AI), gebaseerd op deep learning.

In dit proefschrift onderzoeken we algoritmen om een hoogwaardige simulator voor mobiele robots te ontwerpen. We willen de kloof tussen simulatie en werkelijkheid verkleinen, oneindig veel fotorealistische kleuren- en dieptebeeldenparen genereren vanaf willekeurige locaties en het mogelijk maken om algoritmes die in simulatie zijn ontwikkeld en getest over te brengen naar fysieke platformen zonder domeinbeperkingen.  

Om onze doelen te bereiken, hebben we een beeldsynthesemodule ontworpen die wordt gebruikt voor onze simulator om fotorealistische kleuren- en dieptebeeldparen met een vrij gezichtspunt te synthetiseren. Onze aanpak combineert diepteverfijning, adaptieve weergaveselectie en gelaagde 3D vervorming om de renderingcomplexiteit te verlagen en de kwaliteit van de gesynthetiseerde beelden te verbeteren.  

Op basis van onze simulator bouwen we een 3D-dataset voor het benchmarken van 6D object houdingen, wat een belangrijke rol speelt in het robotische grijp- en manipulatieonderzoek. Onze dataset wordt vrijelijk verspreid onder onderzoeksgroepen wereldwijd door de Shape Retrieval Challenge (SHREC) benchmark op 6D-houdingschatting. We hebben een verscheidenheid aan experimenten uitgevoerd om de prestaties van verschillende benaderingen van houdingschatting te onderzoeken die vanuit onze benchmark worden voorgesteld met behulp van verschillende evaluatiemetingen.

Daarnaast stellen we een nieuwe aanpak voor om de prestaties van de 6D object houdingschatting verder te verbeteren door het effectief berekenen van verborgen weergaven van kleur- en dieptebeelden, en deze vervolgens goed te versmelten met een grafisch attentienetwerk dat de relatie tussen visuele en geometrische kenmerken volledig benut.