論文の概要: DexAgent: An Agentic Human2Sim2Robot Framework for Dexterous Manipulation with Self-Evolving Tool Library

• arxiv url: http://arxiv.org/abs/2609.35318v2
• Date: Fri, 02 Oct 2026 21:19:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 05:29:36.141369
• Title: DexAgent: An Agentic Human2Sim2Robot Framework for Dexterous Manipulation with Self-Evolving Tool Library
• Title（参考訳）: DexAgent: 自己進化ツールライブラリによるデクサラス操作のためのエージェントHuman2Sim2Robotフレームワーク
• Abstract要約: DexAgentはエージェント的なHuman2Sim2Robotフレームワークで、一つの人間中心の動画を、政策訓練のための物理的に接地されたロボット軌道に変換する。 セマンティック理解、プロパティベースのシミュレーション再構成、ロボット軌道最適化、ロボットデータ生成の4段階を通じて動作する。 11の現実世界のタスクで、DexAgent生成データでトレーニングされたポリシーは、競合するベースラインよりも3.5倍高い成功率を達成する。
• 参考スコア（独自算出の注目度）: 33.889168703992034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human videos offer a scalable source of demonstrations for dexterous robot manipulation. However, existing human-to-simulation-to-robot (Human2Sim2Robot) pipelines rely on predefined procedures that struggle to accommodate diverse object properties and interactions, particularly those involving articulated and deformable objects. We introduce DexAgent, an agentic Human2Sim2Robot framework that converts a single egocentric human video and a task prompt into physically grounded robot trajectories for policy training. It operates through four stages: semantic understanding of human videos, property-based simulation reconstruction, robot trajectory optimization, and robot data generation. At each stage, DexAgent adapts its approach to the task and object properties by selecting suitable skills from its tool library or developing new ones when needed. Property-specific verifiers assess stage outcomes for physical validity and task-specific requirements and provide feedback for refinement, preventing error propagation through the workflow. This adaptive, verification-guided process allows DexAgent to process diverse objects and long-horizon tasks. In the final stage, DexAgent varies object and robot states in simulation to generate diverse robot trajectories from a single human video, then retextures the rendered observations to facilitate sim-to-real transfer. Newly developed skills and verifiers are retained in its tool library, making it self-evolving to accumulate reusable capabilities. This reduces processing time as DexAgent encounters more human videos. Across eleven real-world tasks, policies trained with DexAgent-generated data achieve a 3.5x higher success rate than competing baselines. Project website: https://dexagent1.github.io/.
• Abstract（参考訳）: 人間のビデオは、器用なロボット操作のための、スケーラブルなデモのソースを提供する。 しかし、既存のHuman2Sim2Robot(Human2Sim2Robot)パイプラインは、多種多様なオブジェクトの性質や相互作用、特に関節化および変形可能なオブジェクトに対処するのに苦労する、事前定義された手順に依存している。 エージェント型Human2Sim2RobotフレームワークであるDexAgentを紹介した。 人間のビデオのセマンティック理解、プロパティベースのシミュレーション再構成、ロボット軌道最適化、ロボットデータ生成の4段階で構成されている。 各段階でDexAgentは、ツールライブラリから適切なスキルを選択したり、必要に応じて新しいスキルを開発することで、タスクとオブジェクトプロパティにアプローチを適用する。 プロパティ固有の検証は、物理的な妥当性とタスク固有の要求に対するステージ結果を評価し、改善のためのフィードバックを提供し、ワークフローによるエラーの伝播を防ぐ。 この適応的検証誘導プロセスにより、DexAgentは多様なオブジェクトや長い水平タスクを処理できる。 最終段階では、DexAgentは物体とロボットの状態を変えて、単一の人間のビデオから多様なロボットの軌跡を生成し、レンダリングされた観察を再現し、シミュレートから現実への移動を促進する。 新たに開発されたスキルとバリデーションは、ツールライブラリに保持され、再利用可能な能力を蓄積するために自己進化する。 これにより、DexAgentがより多くの人間のビデオに遭遇するにつれて、処理時間が短縮される。 11の現実世界のタスクで、DexAgent生成データでトレーニングされたポリシーは、競合するベースラインよりも3.5倍高い成功率を達成する。 プロジェクトウェブサイト:https://dexagent1.github.io/.com

関連論文リスト

• Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data [60.94418315274988]
  Ego2Robotは、キュレートされたビデオとインザワイルドのビデオの両方をサポートし、15のロボット形態にまたがる18,561時間のトレーニングデータを生成する。 Ego2Robotの合成データとロボットデータの併用による事前学習は、複数のタイプにわたるアウト・オブ・ディストリビューションの一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-03T17:52:26Z)
• Human2Any: Human-to-Robot Transfer via Constraint-Aware Compositional Planning [17.90707618632327]
  我々は、人間のビデオから再利用可能なオブジェクト中心のインタラクションを学習するためのフレームワークであるHuman2Anyを紹介する。 我々は,FrankaテーブルトップとRBY-1ヒューマノイド移動ロボットの実際の実験を含む,さまざまな操作設定のHuman2Anyを検証する。
  論文  参考訳（メタデータ） (2026-06-27T08:45:27Z)
• OASIS: From Simulation Data Collection to Real-World Humanoid Loco-Manipulation [51.37436817948304]
  OASISはヒューマノイドのロコ操作のためのシミュレーションデータ駆動のフレームワークである。 3次元生成モデルを用いて実世界の画像から現実的なオブジェクト資産を再構築する。 ゼロショットデプロイメントでは、実際のロボット遠隔操作データでトレーニングされたタスクよりも、ほとんどのタスクで高い成功率を達成する。
  論文  参考訳（メタデータ） (2026-06-07T10:01:53Z)
• DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos [56.64773686434068]
  DexImitは、人間の操作映像を物理的に妥当なロボットデータに変換する自動フレームワークである。 DexImitは、インターネットまたはビデオ生成モデルから、人間のビデオに基づいて大規模なロボットデータを生成することができる。 ツールの使用、長距離タスク、きめ細かい操作を含む多様な操作タスクを処理できる。
  論文  参考訳（メタデータ） (2026-02-10T18:59:02Z)
• Human-Humanoid Robots Cross-Embodiment Behavior-Skill Transfer Using Decomposed Adversarial Learning from Demonstration [9.42179962375058]
  本稿では,デジタル人間モデルを共通プロトタイプとして使用することにより,データのボトルネックを低減するための転送可能なフレームワークを提案する。 このモデルは、人間による実演から、敵対的な模倣を通して行動プリミティブを学習し、複雑なロボット構造を機能的な構成要素に分解する。 本フレームワークは,多種多様な構成のヒューマノイドロボット5体を用いて検証した。
  論文  参考訳（メタデータ） (2024-12-19T18:41:45Z)
• DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning [42.88605563822155]
  本稿では,人間の手による人型ロボットの人体実験からトラジェクトリを合成する大規模自動データ生成システムを提案する。 私たちは、たった60のソースの人間デモから、これらのタスク全体で21Kのデモを生成します。 また、実世界のヒューマノイド缶ソートタスクに、実世界のシミュレート・トゥ・リアルパイプラインを配置する。
  論文  参考訳（メタデータ） (2024-10-31T17:48:45Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)
• HERD: Continuous Human-to-Robot Evolution for Learning from Human Demonstration [57.045140028275036]
  本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。 本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-08T15:56:13Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。