通過諾亦騰動作捕捉系統(tǒng)遙操作 NVIDIA Isaac Sim 中的

智元遠(yuǎn)征 A2 機(jī)器人虛擬本體

諾亦騰專注于動作捕捉與高精度追蹤技術(shù)，是少數(shù)能夠提供全譜系動作捕捉與運動測量產(chǎn)品的技術(shù)企業(yè)之一。在解決方案中，諾亦騰提供基于慣性傳感器的 PN Studio 動作捕捉套裝以及基于光學(xué)慣性混合追蹤技術(shù)的 HybridTrack 光學(xué)運動測量系統(tǒng)，以適應(yīng)不同級別用戶的需求。前者具有部署成本低、環(huán)境適應(yīng)性強(qiáng)、方便易用的特點；后者優(yōu)勢則在于更高追蹤精度以及更強(qiáng)的魯棒性。

NVIDIA Isaac Sim 是一套應(yīng)用 AI 與仿真工具/平臺，允許開發(fā)者在基于物理的虛擬環(huán)境中設(shè)計、仿真、測試和訓(xùn)練基于 AI 的機(jī)器人和自主機(jī)器。NVIDIA Isaac Sim 提供虛擬環(huán)境、各類機(jī)器人以及自主機(jī)器的物理精確的 SimReady 3D 資產(chǎn)，這些資產(chǎn)建立在高度逼真的物理仿真基礎(chǔ)之上，可以模擬真實環(huán)境下存在的力矩、摩擦、空間干擾以及自干擾等因素，使開發(fā)者可以在虛擬環(huán)境中加速機(jī)器人算法的開發(fā)和測試過程。

基于自定義的 MocapApi 接口，諾亦騰實現(xiàn)了動作捕捉系統(tǒng)與 NVIDIA Isaac Sim 的數(shù)據(jù)聯(lián)通，從而基于現(xiàn)有算法，快速接入動作捕捉和高精度追蹤數(shù)據(jù)流，實時驅(qū)動仿真環(huán)境下的虛擬機(jī)器人本體或者真實的機(jī)器人本體，用遙操作的模式完成任務(wù)，采集數(shù)據(jù)。除此之外，還可以在機(jī)器人自主任務(wù)完成的過程中實現(xiàn)快速人工干預(yù)覆蓋失敗場景。

動作捕捉數(shù)據(jù)到 NVIDIA Isaac 及具身智能機(jī)器人本體/數(shù)據(jù)集產(chǎn)出

基于數(shù)據(jù)，特別是通過動作捕捉獲取的真實人類動作數(shù)據(jù)，對機(jī)器人控制基礎(chǔ)模型進(jìn)行訓(xùn)練，并通過遙操作收集真實訓(xùn)練數(shù)據(jù)集，從而提升具身智能算法，已成為具身智能機(jī)器人學(xué)界與業(yè)界的重要科研共識。

具身智能機(jī)器人的數(shù)據(jù)采集與算法訓(xùn)練，可通過“基于真實本體”“基于虛擬本體”或“完全基于人體動作捕捉”等方式實現(xiàn)。其中基于真實本體方式能夠最大程度反映真實世界的物理特性，其余方式雖然成本可控，但均存在一定程度上的 Domain Gap。

基于真實本體的數(shù)據(jù)集生產(chǎn) - 手部動作捕捉遙操作智元遠(yuǎn)征 A2 機(jī)器人靈巧手

諾亦騰基于 NVIDIA Isaac 以及動作捕捉/高精度追蹤技術(shù)構(gòu)建出 HITL 解決方案，攜手業(yè)界合作伙伴智元機(jī)器人，共同探索提升算法的「Sim2Real2Sim」路徑。

結(jié)合了動作捕捉/高精度追蹤硬件設(shè)備和 NVIDIA Isaac 平臺的 HITL 解決方案易于搭建，可高效運轉(zhuǎn)，具備快速構(gòu)建大規(guī)模具身智能數(shù)據(jù)工廠的能力。

基于 NVIDIA Isaac 平臺的豐富生態(tài)與標(biāo)準(zhǔn)化接口，該解決方案能夠快速打通各類具身智能機(jī)器人本體和自主機(jī)器之間的數(shù)據(jù)障礙，實現(xiàn)快速部署和擴(kuò)展，從而幫助用戶搭建大規(guī)模具身智能數(shù)據(jù)集生產(chǎn)流水線。

大規(guī)模具身智能機(jī)器人訓(xùn)練數(shù)據(jù)集生產(chǎn)工廠（Data Factory）示意圖