論文の概要: DexFuture: Hierarchical Future-State Visuomotor Targeting for Bimanual Dexterous Tool Use
- arxiv url: http://arxiv.org/abs/2606.05699v1
- Date: Thu, 04 Jun 2026 04:37:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.560102
- Title: DexFuture: Hierarchical Future-State Visuomotor Targeting for Bimanual Dexterous Tool Use
- Title（参考訳）: DexFuture: 双方向デクサラスツール使用のための階層的未来状態ビズモータターゲット
- Authors: Runfa Blark Li, Kuang-Ting Tu, Nikola Raicevic, Dwait Bhatt, Xinshuang Liu, Keito Suzuki, Ki Myung Brian Lee, Nikolay Atanasov, Truong Nguyen,
- Abstract要約: ロボットにとって、高次元の手の配置と複雑な手-ツール・オブジェクトのダイナミックスと接触が原因で、二元的デキスタラスツールの使用は依然として困難である。
DexFutureは、高レベルなFuture-State Visuomotor Target Predictorと低レベルなTarget-Conditioned Structured Dexterous Policyを結合した階層システムである。
OakInk2の双方向ツール使用タスクでは、DexFutureは特権付きオーラのパフォーマンスの90%を達成している。
- 参考スコア（独自算出の注目度）: 10.996987671079046
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Bimanual dexterous tool use remains challenging for robots due to high-dimensional hand configurations and complex hand-tool-object dynamics and contact. Most existing control policies depend on future configuration references provided from demonstrations, while future action-conditioned world models require slow online planning over high-dimensional action sequences. A significant challenge is generating a dynamically consistent future reference trajectory without relying on privileged states from demonstrations or slow counterfactual planning. We propose DexFuture, a hierarchical system that couples a high-level Future-State Visuomotor Target Predictor with a low-level Target-Conditioned Structured Dexterous Policy. Conditioned on egocentric RGB, proprioceptive and geometric history, the high-level predictor constructs structured hand-tool-object visuomotor embeddings and uses a horizon-conditioned transformer to generate a multi-step future target trajectory. Then, the low-level policy tracks them with a target-conditioned per-link transformer. This hierarchy decouples coarse future reference generation from fine-grained action control, and slow long-horizon semantic prediction from high-frequency execution. On OakInk2 bimanual tool-use tasks, DexFuture achieves 90% of the privileged-oracle performance, compared to 7% for a no-reference policy. DexFuture operates at 60 Hz, approximately 250 times faster than DexWM-style Cross-Entropy Method (CEM) planning with a future action-conditioned world model.
- Abstract（参考訳）: ロボットにとって、高次元の手の配置と複雑な手-ツール・オブジェクトのダイナミックスと接触が原因で、二元的デキスタラスツールの使用は依然として困難である。
既存の制御ポリシの多くは、デモから提供される将来の設定参照に依存している一方、将来のアクション条件付き世界モデルは、高次元のアクションシーケンスよりも遅いオンライン計画を必要とする。
重要な課題は、デモや遅い反ファクト計画から特権状態に頼ることなく、動的に一貫した将来の参照軌道を生成することである。
DexFutureは、高レベルなFuture-State Visuomotor Target Predictorと低レベルなTarget-Conditioned Structured Dexterous Policyを結合した階層システムである。
高次予測器は、自我中心のRGB、固有受容的、幾何学的履歴に基づいて構成され、構造化された手動物体のビジュモータ埋め込みを構成し、水平条件変換器を用いて、多段階の将来の目標軌道を生成する。
そして、低レベルポリシーはそれらをターゲット条件付きリンクトランスで追跡する。
この階層は、きめ細かいアクション制御から粗い将来の参照生成を分離し、高周波実行から長時間のセマンティック予測を遅くする。
OakInk2の双方向ツール使用タスクでは、DexFutureは特権付きオーラのパフォーマンスの90%を達成している。
DexFutureは60Hzで動作し、将来のアクション条件の世界モデルで計画するDexWMスタイルのクロスエントロピー法(CEM)の約250倍高速である。
関連論文リスト
- LLM-Guided Future Hypotheses for Horizon-Aware Exploration in Multi-Step Robot Manipulation [5.637033593506126]
マルチステップロボット操作では、シーンがどのように進化するかの不確実性の下で行動する必要がある。
本研究では,短時間のタスク一貫性のある未来のビデオが,制御や強化学習の微調整に有用であるかどうかを考察する。
論文 参考訳（メタデータ） (2026-05-28T12:49:37Z) - GaussianDream: A Feed-Forward 3D Gaussian World Model for Robotic Manipulation [54.671815855499034]
視覚言語アクション(VLA)ポリシーは、セマンティック先行をアクション生成に転送することで、言語条件のロボット操作を進化させた。
標準的な行動模倣学習は、しばしば明示的な3次元空間情報、密集した幾何学的監督、将来の環境進化の十分なモデリングを欠いている。
フィードフォワード3Dガウス世界モデルプラグインである textbfGaussianDream を提案する。
論文 参考訳（メタデータ） (2026-05-20T05:51:30Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-12T14:15:16Z) - ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation [57.07494675832939]
ロボット操作のための既存の視覚言語アクション(VLA)モデルは、進歩意識を欠いている。
本研究では,textbf vla という新しいモデルを提案し,タスク進捗の推定と統合について検討する。
CALVINとLIBEROベンチマークの実験は、実世界のロボットの展開とともに、成功率の大幅な改善を一貫して示している。
論文 参考訳（メタデータ） (2026-03-29T12:38:11Z) - RADAR: Closed-Loop Robotic Data Generation via Semantic Planning and Autonomous Causal Environment Reset [48.645870795753105]
ロボットのためのロバスト自動データ取得(RADAR)について紹介する。
RADARは完全に自律的でクローズドループのデータ生成エンジンで、収集サイクルから人間の介入を完全に取り除きます。
シミュレーションでは、複雑な長期タスクにおいて、最大90%の成功率を達成する。
論文 参考訳（メタデータ） (2026-03-12T11:18:52Z) - GR-Dexter Technical Report [32.12634986073996]
視覚言語アクション(VLA)モデルは、言語条件の長いロボット操作を可能にする。
本稿では,VLAに基づく汎用操作のための汎用ハードウェア・モデル・データ・フレームワークGR-Dexterについて述べる。
論文 参考訳（メタデータ） (2025-12-30T13:22:16Z) - Ctrl-World: A Controllable Generative World Model for Robot Manipulation [53.71061464925014]
汎用ロボットポリシーは、幅広い操作スキルを実行することができる。
未知の物体や命令で 彼らの能力を評価し 改善することは 重要な課題です
世界モデルは、イマジネーション空間内でポリシーの展開を可能にすることで、有望でスケーラブルな代替手段を提供する。
論文 参考訳（メタデータ） (2025-10-11T09:13:10Z) - Trajectron++: Dynamically-Feasible Trajectory Forecasting With
Heterogeneous Data [37.176411554794214]
人間の動きに関する推論は、安全で社会的に認識されたロボットナビゲーションにとって重要な前提条件である。
我々は,多種多様なエージェントの軌道を予測できるモジュール型グラフ構造化リカレントモデルであるTrajectron++を提案する。
実世界の軌道予測データセットにおいて,その性能を実証する。
論文 参考訳（メタデータ） (2020-01-09T16:47:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。