T-Rex: Tactile-Reactive Dexterous Manipulation
Abstractの概要
T-Rexは、大規模な人間の自己中心視点による事前学習と、触覚に基づくロボットの中間学習を組み合わせた、触覚反応型の巧緻操作フレームワークです。本論文では、低周波の視覚・運動計画と高周波の触覚微調整を分離した可変レートのMixture-of-Transformer-Expertsアーキテクチャを導入し、時空間触覚VQ-VAEエンコーダによってこれをサポートしています。200以上の物体と22の運動プリミティブを網羅する、100時間の触覚同期双腕遠隔操作データセットを用いて訓練されています。本システムは、繊細な力制御、変形可能物体、および双腕協調を伴う接触豊富な12の操作タスクからなる実世界ベンチマークで評価されています。
新規性
本研究の主な新規性は、大規模な触覚リッチデータセット、可変レートの統一されたMixture-of-Transformersポリシー、および巧緻操作のための非同期触覚微調整メカニズムの組み合わせにあります。その触覚モジュールは、時空間VQ-VAEを用いて高周波の力学特性や変形信号をエンコードする一方で、キャッシュされた視覚・言語コンテキストを再利用して高速な閉ループ制御を行う点で特徴的です。
成果
12の触覚反応型操作タスクにおいて、T-Rexは比較的手法の中で最高の平均成功率を達成し、最も強力なベースラインを30%以上上回りました。アブレーションスタディにより、触覚入力、提案された触覚表現、非同期微調整、および完全な3段階の訓練レシピがそれぞれ性能に寄与していること、また触覚に基づく中間学習のセットアップが汎化性とデータ使用効率を向上させることが示されています。
論文の注目点
- 200以上の物体、22の運動プリミティブを含み、RGB、触覚、ロボット状態、行動、および言語データが同期された、100時間の触覚同期巧緻操作データセットを導入している。
- T-Rexモデルは、時空間触覚エンコーダを備えた可変レートのMixture-of-Transformer-Expertsアーキテクチャを通じて、低速な視覚・運動行動計画と高速な触覚行動の微調整を分離している。
- 12タスクの実世界ベンチマークにおいて、本手法は従来の巧緻操作や触覚認識ベースラインを上回り、アブレーションによって触覚の統合、非同期制御、および触覚に基づく中間学習の重要性が裏付けられている。