論文の概要: Trajectory-based Diffusion from One-shot Human Video for Generalizable Manipulation

• arxiv url: http://arxiv.org/abs/2610.21792v1
• Date: Thu, 15 Oct 2026 12:45:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.079292
• Title: Trajectory-based Diffusion from One-shot Human Video for Generalizable Manipulation
• Title（参考訳）: 汎用マニピュレーションのための1ショットヒトビデオからの軌道ベース拡散
• Abstract要約: 本稿では、データ生成を利用して一般化可能な操作を可能にするトラジェクトリベースのフレームワークであるTDVを紹介する。 TDVは、プラグアンドプレイの6Dポーズ推定技術を活用することで、タスク関連オブジェクトに焦点を当てる。 実世界の実験では、TDVはワンショットの人間のデモンストレーションから、クロスボデーメントの一般化操作を可能にする。
• 参考スコア（独自算出の注目度）: 13.6716661939027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Imitation learning enables robots to perform complex tasks by leveraging human-collected demonstrations. However, most existing approaches require labor-intensive data collection with additional teleoperation systems, which hinders scalability. Human videos represent a natural source of data that implicitly contain knowledge of manipulation behaviors. However, transferring them to robots remains challenging due to the visual domain gap and the absence of explicit action labels. In this work, we introduce TDV, a trajectory-based framework that leverages data generation to enable generalizable manipulation. TDV focuses on task-relevant objects by leveraging plug-and-play 6D pose estimation techniques to extract object trajectories from human videos, thereby mitigating the impact of irrelevant backgrounds and varying viewpoints. As a modality-agnostic intermediate representation, trajectories are inherently independent of the visual domains and different embodiments, enabling efficient data generation. Our method outperforms previous approaches on RLBench simulation tasks, achieving near 100\% success rates across seven tasks. In real-world experiments, TDV enables cross-embodiment generalization manipulation from one-shot human demonstrations by leveraging efficient trajectory generation techniques.
• Abstract（参考訳）: 模倣学習により、ロボットは人間によって構成されたデモンストレーションを活用することで複雑なタスクを実行できる。 しかし、既存のアプローチのほとんどは、拡張性を阻害する遠隔操作システムを備えた労働集約的なデータ収集を必要としている。 人間のビデオは、操作行動の知識を暗黙的に含む自然なデータ源である。 しかし、視覚領域のギャップや明示的なアクションラベルがないため、ロボットへの移動は依然として困難である。 本研究では、データ生成を利用して一般化可能な操作を可能にするトラジェクトリベースのフレームワークであるTDVを紹介する。 TDVは、プラグアンドプレイの6Dポーズ推定技術を利用して、人間のビデオからオブジェクトの軌跡を抽出し、無関係な背景やさまざまな視点の影響を軽減することで、タスク関連オブジェクトに焦点を当てている。 モダリティに依存しない中間表現として、軌跡は本質的に視覚領域と異なる実施形態から独立しており、効率的なデータ生成を可能にする。 提案手法はRLBenchシミュレーションの従来の手法よりも優れており、7つのタスクで100倍近い成功率を達成した。 実世界の実験では、TDVは効率的な軌道生成技術を活用して、ワンショットの人間のデモンストレーションから、クロスボデーメントの一般化操作を可能にする。

関連論文リスト

• From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
  人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。 この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。 この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
  論文  参考訳（メタデータ） (2026-05-18T06:19:16Z)
• Grasp as You Dream: Imitating Functional Grasping from Generated Human Demonstrations [23.294838162593184]
  本稿では、労働集約的なデータ収集を伴わずにゼロショット機能把握を可能にするGraspDreamerを提案する。 鍵となるアイデアは、VGMがインターネットスケールの人間のデータに基づいて事前訓練されていることだ。 GraspDreamerの優れたデータ効率と一般化性能を示す。
  論文  参考訳（メタデータ） (2026-04-08T18:52:16Z)
• METIS: Multi-Source Egocentric Training for Integrated Dexterous Vision-Language-Action Model [36.82365894983052]
  大きなボトルネックは、デクスタラススキルのための大規模でアクションアノテートされたデータの不足にある。 我々は,エゴセントリックなデータセット上で事前学習したデクスタラス操作のための視覚言語アクションモデルMETISを提案する。 提案手法は,6つの実世界のタスクにおける平均成功率を達成し,異常な操作能力を示す。
  論文  参考訳（メタデータ） (2025-11-21T16:32:36Z)
• Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control [72.00655365269]
  本稿では,協調的軌跡定式化を通じてオブジェクト間ダイナミクスをモデル化する新しいフレームワークであるRoboMasterを紹介する。 オブジェクトを分解する従来の方法とは異なり、我々のコアは、相互作用プロセスを3つのサブステージ(相互作用前、相互作用後、相互作用後)に分解することである。 提案手法は既存の手法よりも優れており,ロボット操作のための軌道制御ビデオ生成における最先端性能を確立している。
  論文  参考訳（メタデータ） (2025-06-02T17:57:06Z)
• Object-Focus Actor for Data-efficient Robot Generalization Dexterous Manipulation [14.977743061489518]
  我々は,汎用デキスタラス操作のための新しいデータ効率のアプローチであるObject-Focus Actor (OFA)を紹介する。 OFAは、厳密な操作タスクで観測される一貫した終端軌道を利用して、効率的なポリシートレーニングを可能にする。 OFAは10のデモで堅牢なパフォーマンスを実現し、そのデータ効率を強調している。
  論文  参考訳（メタデータ） (2025-05-21T04:37:56Z)
• SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
  手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。 SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。 SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-28T20:53:20Z)
• Movement Primitive Diffusion: Learning Gentle Robotic Manipulation of Deformable Objects [14.446751610174868]
  運動原始拡散(英: Movement Primitive Diffusion、MPD)は、ロボット支援手術における模倣学習(IL)の新しい手法である。 MPDは拡散型模倣学習(DIL)の汎用性と確率的動特性プリミティブ(ProDMP)の高品質な運動生成能力を組み合わせる 実世界および実世界の様々なロボット作業におけるMPDの評価を,状態観察と画像観察の両方で行う。
  論文  参考訳（メタデータ） (2023-12-15T18:24:28Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。