Lai pielāgotos atklātajai pilsētvidei, inteliģentiem ķermeņiem ir jāuztver apkārtējo cilvēku ķermeņa kustības un skatuves struktūra reālā laikā. Tradicionālās uztveres līdzekļi, kas balstīti uz inerciālajiem sensoriem un kamerām, kuriem ir attiecīgi ilgstošu datu dreifēšanas un jutības pret gaismas un vides dinamiskām izmaiņām problēmas, ir grūti apmierināt pieprasījumu pēc cilvēka ķermeņa kustības un ainas uztveršanas sarežģītā vidē lietojumprogrammā Saprātīgas braukšanas, pakalpojumu robotikas un sporta apmācības lauki.
Kopš 2022. gada prof. Čenas Vanga un prof. Čenlu Vena komanda ir pirmā, kas ierosināja LiDar cilvēka kustību uztveršanas tehnoloģiju starptautiskajā arēnā (Lidarcap, CVPR 2022; HSC4D, CVPR 2022; SLOPER4D, CVPR 2023). Šajā publikācijā, HISC4D, komanda izlauž metodi, lai uztvertu dažādas divu cilvēku mijiedarbības kustības un 3D ainas pirmās personas skatījumā liela mēroga iekštelpu un āra atvērtās ainās. Metode konstruē daudzpakāpju locītavu optimizācijas sistēmu, sakausējot inerciālās vadības un LIDAR datus, kas efektīvi atrisina dreifēšanas problēmu, ko izraisa inerciālas vadlīnijas, un ievērojami uzlabo ainas rekonstrukcijas precizitāti un paplašina telpisko, cilvēku kustību un mijiedarbības uztveršanas diapazonu. Tajā pašā laikā tiek izlaista pirmā multimodālā divu cilvēku mijiedarbības datu kopa, kas aptver dažādus ainu veidus un daudzveidīgas cilvēku kustības, nodrošinot apmācības datu resursus saistītām pētniecības jomām.HISC4D tehnoloģija izmanto LIDAR kā galveno sensoru, lai rekonstruētu cilvēku kustības un 3D ainas pie Tajā pašā laikā, kas paver jaunu domāšanas veidu iemiesotajam intelektam, lai dotos uz plašo brīvā dabā un integrētos pūlī.
