論文の概要: Decoupling Action from Egocentric Observation for World Simulation

• arxiv url: http://arxiv.org/abs/2610.27946v1
• Date: Tue, 20 Oct 2026 09:52:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.755905
• Title: Decoupling Action from Egocentric Observation for World Simulation
• Title（参考訳）: 世界シミュレーションのためのエゴセントリック観測からの脱カップリング
• Abstract要約: エゴセントリックな行動伝達は、エゴセントリックな観察からセマンティックな行動を切り離し、新しい視覚的文脈でそれらを再現することを目的としている。 本稿では,エゴセントリックな行動伝達のためのテストタイムフレームワークであるEgoACTについて紹介する。 EgoActionBenchは、多様なエゴセントリックな操作シナリオにおいて、アクションの保存、視覚的品質、手動の可視性を評価するためのベンチマークである。
• 参考スコア（独自算出の注目度）: 90.38609292843644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Egocentric action transfer aims to decouple the semantic action from egocentric observations and reproduce them in new visual contexts, enabling scalable world simulation, embodied policy learning, and robotic data generation. Existing approaches to transferring actions rely on condition-guided video generation, which converts the observation video into explicit geometric controls (e.g., hand poses or meshes) to drive synthesis. However, these methods introduce geometric estimation errors, making it difficult to preserve physically plausible interactions when transferred to new scenes. Alternatively, motion transfer methods directly extract motion patterns from the observation video, yet motion-level features alone cannot encode rich contact dynamics, frequently leading to severe hand structural collapse and implausible contact layout. To address both limitations, we present EgoACT, a test-time framework for egocentric action transfer that operates directly on the denoising process of video diffusion models without requiring additional geometric estimators. EgoACT uses Velocity-guided Structure Anchoring to stabilize reference-consistent hand-object structure in the early denoising stage, and Sparse Correspondence Calibration to refine reliable local correspondences in the mid-to-late denoising stages. Together, these two components preserve transferable action semantics while improving temporal coherence and interaction realism. We further establish EgoActionBench, a benchmark for evaluating action preservation, visual quality, and hand-object plausibility across diverse egocentric manipulation scenarios. Experiments show that EgoACT generates more coherent and physically plausible interaction videos than strong baselines.
• Abstract（参考訳）: エゴセントリックな行動伝達は、セマンティックアクションとエゴセントリックな観察を分離し、それらを新しい視覚的コンテキストで再現することを目的としており、スケーラブルな世界シミュレーション、具体的ポリシー学習、ロボットデータ生成を可能にしている。 既存のアクション転送のアプローチは条件付きビデオ生成に依存しており、観察ビデオは、合成を駆動するために、明示的な幾何学的制御(例えば、手ポーズやメッシュ)に変換する。 しかし,これらの手法は幾何学的推定誤差を導入し,新たなシーンに移動する際の物理的に妥当な相互作用の保存を困難にしている。 あるいは、モーショントランスファー法は、観察ビデオから直接動きパターンを抽出するが、モーションレベルの特徴だけではリッチな接触ダイナミクスを符号化することができず、しばしば手指の構造的崩壊や不明瞭な接触レイアウトを引き起こす。 両制約に対処するため,エゴセントリックな行動伝達のためのテストタイムフレームワークであるEgoACTを提案する。 EgoACTはVelocity-guided Structure Anchoringを使用して、初期復調段階における参照整合手オブジェクト構造を安定化し、スパース対応校正により、中後期復調段階における信頼性の高い局所通信を洗練させる。 これら2つのコンポーネントは、時間的コヒーレンスと相互作用リアリズムを改善しながら、伝達可能なアクションセマンティクスを保存する。 EgoActionBenchは、多様なエゴセントリックな操作シナリオにおいて、行動の保存、視覚的品質、手動の可視性を評価するためのベンチマークである。 実験により、EgoACTは強いベースラインよりもコヒーレントで物理的に妥当なインタラクションビデオを生成することが示された。

関連論文リスト

• EgoExplorer: A Vision-Motion-Touch Observatory for Human Loco-Manipulation In Situ [67.89251850608498]
  EgoExplorerは、ウェアラブルシステムで構築された人間のロボ操作の100時間の視覚モーションタッチ観測所である。 プロの活動に重点を置いて、その連続的な録音は、エゴセントリックなビデオと、再構築された全身の動きとを一致させる。 我々は,このカバーをスパースボディセンシングで実現するために,Calibrate-Complete-Constrainパイプラインを開発した。
  論文  参考訳（メタデータ） (2026-10-13T17:59:55Z)
• Tempered Self-Similarity Alignment for Physically Plausible Video Generation [83.40337664171939]
  自己相似性損失は確率的対応に変化し、映像生成モデルを動的に変化する領域の視覚基盤モデルと対応付けるよう訓練する。 本手法は,映像生成における関係知識の伝達の有効性を検証し,多種多様な相互作用シナリオにおける物理的妥当性の大幅な向上を示す。
  論文  参考訳（メタデータ） (2026-05-24T09:28:05Z)
• EgoInteract: Synthetic Egocentric Videos Generation for Interaction Understanding and Anticipation [45.01838097419948]
  微細なエゴセントリックな相互作用とその時間的ダイナミクスをモデル化するための,エゴセントリックなビデオ生成のための制御可能なシミュレータを提案する。 我々は,時間的動作のセグメンテーション,次のアクティブ物体検出,相互作用予測,手動物体の相互作用検出のための高密度な空間的および時間的アノテーションを備えた合成エゴセントリックビデオデータセットを生成する。 その結果、タスクとデータセット間の強いベースラインよりも一貫した改善が示され、シミュレーションベースのアプローチの有効性と転送性を示している。
  論文  参考訳（メタデータ） (2026-05-18T10:58:56Z)
• EgoMotion: Hierarchical Reasoning and Diffusion for Egocentric Vision-Language Motion Generation [74.07852250099559]
  Egocentric Vision-Language (Ego-VL) モーション生成について検討する。 本課題は,1対1の視覚的観察と自然言語の指示を併用した3次元人間の動作を合成することである。 この課題に対処するために,階層型生成フレームワーク textbfEgoMotion を提案する。
  論文  参考訳（メタデータ） (2026-04-21T05:31:06Z)
• SocialMirror: Reconstructing 3D Human Interaction Behaviors from Monocular Videos with Semantic and Geometric Guidance [49.69016078147708]
  密接な相互作用シナリオにおける人間の行動の正確な再構築は、拡張現実における現実的な仮想インタラクションの実現に不可欠である。 本稿では,これらの問題に効果的に対処するための意味的および幾何学的手がかりを統合する拡散ベースのフレームワークであるSocialMirrorを提案する。 SocialMirrorはインタラクティブなヒューマンメッシュを再構築する上で,最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-04-15T07:41:52Z)
• EgoForge: Goal-Directed Egocentric World Simulator [26.712565464146937]
  EgoForgeはゴール指向の世界シミュレータで、最小限の静的入力から一対一のビデオロールアウトを生成する。 VideoDiffusionNFTは、拡散サンプリング中の目標完了、時間的因果性、シーンの一貫性、知覚的忠実度を最適化する軌道レベルの報酬誘導改良である。
  論文  参考訳（メタデータ） (2026-03-20T17:46:55Z)
• InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
  我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。 我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
  論文  参考訳（メタデータ） (2024-12-16T13:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。