論文の概要: EgoAVFlow: Robot Policy Learning with Active Vision from Human Egocentric Videos via 3D Flow

• arxiv url: http://arxiv.org/abs/2602.22461v1
• Date: Wed, 25 Feb 2026 22:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:41.723243
• Title: EgoAVFlow: Robot Policy Learning with Active Vision from Human Egocentric Videos via 3D Flow
• Title（参考訳）: EgoAVFlow:3Dフローによる人間中心ビデオからのアクティブビジョンによるロボットポリシー学習
• Authors: Daesol Cho, Youngseok Jang, Danfei Xu, Sehoon Ha,
• Abstract要約: EgoAVFlowは、共有された3Dフロー表現を通じて、エゴセントリックなビデオから操作とアクティブなビジョンを学ぶ。 EgoAVFlowは,従来のヒトデモベースラインより一貫して優れていた。
• 参考スコア（独自算出の注目度）: 17.993528705818008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Egocentric human videos provide a scalable source of manipulation demonstrations; however, deploying them on robots requires active viewpoint control to maintain task-critical visibility, which human viewpoint imitation often fails to provide due to human-specific priors. We propose EgoAVFlow, which learns manipulation and active vision from egocentric videos through a shared 3D flow representation that supports geometric visibility reasoning and transfers without robot demonstrations. EgoAVFlow uses diffusion models to predict robot actions, future 3D flow, and camera trajectories, and refines viewpoints at test time with reward-maximizing denoising under a visibility-aware reward computed from predicted motion and scene geometry. Real-world experiments under actively changing viewpoints show that EgoAVFlow consistently outperforms prior human-demo-based baselines, demonstrating effective visibility maintenance and robust manipulation without robot demonstrations.
• Abstract（参考訳）: エゴセントリックな人間のビデオは、操作デモのスケーラブルなソースを提供するが、ロボットにそれらをデプロイするには、タスククリティカルな可視性を維持するためにアクティブな視点制御が必要である。 EgoAVFlowは,ロボットによる実演を伴わない幾何学的視認性推論と移動をサポートする共有3次元フロー表現を用いて,エゴセントリックなビデオから操作と能動的視界を学習する。 EgoAVFlowは、ロボットの動作、将来の3Dフロー、カメラの軌跡を予測するために拡散モデルを使用し、予測された動きとシーン幾何学から計算された可視性を考慮した報酬を最大化することで、テスト時の視点を洗練する。 積極的に変化する視点の下での実世界の実験は、EgoAVFlowが人間-デモベースのベースラインを一貫して上回り、ロボットのデモンストレーションなしで効果的に視認性と堅牢な操作を実証していることを示している。

関連論文リスト

• OCRA: Object-Centric Learning with 3D and Tactile Priors for Human-to-Robot Action Transfer [84.22494391514066]
  OCRAはビデオベースのヒューマン・ロボット・アクション転送のためのフレームワークである。 人間のデモビデオから直接学習し、堅牢な操作を可能にする。
  論文  参考訳（メタデータ） (2026-03-15T14:31:03Z)
• Mitty: Diffusion-based Human-to-Robot Video Generation [57.494785199352975]
  我々は,Human2Robotビデオ生成のためのビデオインコンテクスト学習を可能にする拡散変換器であるMittyを提案する。 事前訓練されたビデオ拡散モデルに基づいて構築されたMittyは、強い視覚的時間的事前情報を利用して、人間のデモをアクションラベルや中間抽象化なしでロボット実行ビデオに変換する。 Human2RobotとEPIC-Kitchensの実験によると、Mittyは最先端の結果、目に見えない環境への強力な一般化、人間の観察からスケーラブルなロボット学習のための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-12-19T05:52:15Z)
• MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
  低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。 視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。 視点安定化のためにEgoStabilizerを提案する。 動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
  論文  参考訳（メタデータ） (2025-09-26T11:05:10Z)
• EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos [49.820119587446655]
  本稿では,エゴセントリックな人間ビデオを用いたVLA(Vision-Language-Action)モデルのトレーニングについて検討する。 人間の手首と手の動きを予測する人間のビデオに基づいて訓練されたVLAによって、私たちはInverse Kinematicsを実行し、人間のアクションをロボットアクションに変換することができる。 シミュレーションベンチマークであるEgo Humanoid Manipulation Benchmarkを提案する。
  論文  参考訳（メタデータ） (2025-07-16T17:27:44Z)
• Robotic Manipulation by Imitating Generated Videos Without Physical Demonstrations [19.28925489415787]
  RIGVidは、AI生成ビデオの模倣により、ロボットが複雑な操作タスクを実行できる。 ビデオ拡散モデルは潜在的なデモビデオを生成し、視覚言語モデルはコマンドに従わない結果を自動的にフィルタリングする。 6Dポーズトラッカーは、ビデオからオブジェクトの軌跡を抽出し、その軌跡をエンボディメント非依存の方法でロボットに再ターゲティングする。
  論文  参考訳（メタデータ） (2025-07-01T17:39:59Z)
• ViSA-Flow: Accelerating Robot Skill Learning via Large-Scale Video Semantic Action Flow [4.2766838326810355]
  教師なし大規模ビデオデータから事前ラベル付き表現を学習するフレームワークであるViSA-Flowを提案する。 まず、大規模人-物間相互作用ビデオデータから、生成訓練された意味行動の流れを自動的に抽出する。 第2に、この前者は、同じセマンティック抽象化パイプラインで処理された小さなロボットのデモセットを微調整することで、ターゲットロボットに効率的に適応する。
  論文  参考訳（メタデータ） (2025-05-02T14:03:06Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。