論文の概要: EgoGeneralist: Unifying Egocentric Action-Video Tasks through Video-Native Modeling

• arxiv url: http://arxiv.org/abs/2611.08477v1
• Date: Thu, 05 Nov 2026 18:58:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.631319
• Title: EgoGeneralist: Unifying Egocentric Action-Video Tasks through Video-Native Modeling
• Title（参考訳）: EgoGeneralist: ビデオネイティブモデリングによるエゴセントリックなアクションビデオタスクの統合
• Abstract要約: エゴジェネリストは、事前訓練されたビデオジェネレータを適応させ、アクションビデオ生成、ポーズ推定、共同アクションビデオ生成を統一する。 我々のロール適応アクションは、多方向アクションビデオ学習のためのビデオ条件付き表現を提供する。 コントロールされた実験室の録音にのみ適応するが、エゴジェネリストは多様な見えないシーンと効果的なアクションコントロールと視覚的品質との相互作用を一般化する。
• 参考スコア（独自算出の注目度）: 34.814459705855334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern video models possess strong visual priors, yet do not natively represent human action in metric 3D space. We present EgoGeneralist, which adapts pretrained video generators to unify action-conditioned egocentric video generation, pose estimation, and joint action-video generation. Our role-adaptive action renderer provides video-native representations for multidirectional action-video learning, making metric motion usable as both a spatial control signal and a recoverable generation target. Cross-stream action-video coupling establishes close correspondence between metric motion and visual dynamics through lightweight adaptation while preserving the pretrained visual prior. Together, these designs establish a generalist framework spanning five action-video tasks. Despite adaptation only on controlled laboratory recordings, EgoGeneralist generalizes to diverse unseen scenes and interactions with effective action control and visual quality, bridging pretrained visual knowledge and metric 3D human motion.
• Abstract（参考訳）: 現代のビデオモデルは、強力な視覚的先行性を持っているが、計量3次元空間における人間のアクションをネイティブに表現していない。 EgoGeneralistは、事前訓練されたビデオジェネレータを用いて、アクション条件付きエゴセントリックなビデオ生成、ポーズ推定、共同アクションビデオ生成を統一する。 我々のロール適応アクションレンダラは、多方向アクションビデオ学習のためのビデオネイティブ表現を提供し、距離運動を空間制御信号と再生可能な生成ターゲットの両方として利用できるようにする。 クロスストリーム・アクション・ビデオ・カップリングは、事前訓練された視覚的先行を保ちながら、軽量な適応を通してメートル法運動と視覚力学の密接な対応を確立する。 これらのデザインは5つのアクションビデオタスクにまたがる一般的なフレームワークを確立する。 コントロールされた実験室の録音にのみ適応しているにもかかわらず、エゴジェネリストは多様な見えないシーンや効果的なアクションコントロールと視覚的品質との相互作用、事前訓練された視覚知識とメートル法3Dの人間の動きを一般化している。

関連論文リスト

• Decoupling Action from Egocentric Observation for World Simulation [90.38609292843644]
  エゴセントリックな行動伝達は、エゴセントリックな観察からセマンティックな行動を切り離し、新しい視覚的文脈でそれらを再現することを目的としている。 本稿では,エゴセントリックな行動伝達のためのテストタイムフレームワークであるEgoACTについて紹介する。 EgoActionBenchは、多様なエゴセントリックな操作シナリオにおいて、アクションの保存、視覚的品質、手動の可視性を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-10-20T09:52:46Z)
• Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation [53.00741268465108]
  P$3$-WAMは、エゴセントリックなデキスタラスな操作のための統一された世界アクションモデルである。 我々のモデルは、コンパクトで構造化された3Dアクション表現を事前訓練されたビデオ拡散変換器に統合する。 本モデルは,4つのデータセットにまたがる3次元手指再建と動作条件付き映像予測の専門的ベースラインに優れる。
  論文  参考訳（メタデータ） (2026-10-15T17:59:07Z)
• Being-M0.7: A Latent World-Action Model for Humanoid Robots [52.49928557294444]
  我々は,人間のデータから学習した視覚的動きを,事前学習,ロボットのミッドトレーニング,アクションポストトレーニングを通じてヒューマノイド制御に伝達する潜在世界行動モデルであるBeing-M0.7を提案する。 我々は、1万時間以上の生の人中心データからコーパスをキュレートし、ビデオのみ、モーションのみ、およびペア化されたビデオモーションストリームを統合して、補完的な視覚力学と全身の運動構造を学習する。 Be-M0.7はSIMPLEで比較したベースラインの中で最高成功率に達し、現実世界のUnitree G1ロコ操作タスクで最強のベースラインと一致する。
  論文  参考訳（メタデータ） (2026-10-08T05:49:24Z)
• LOME: Learning Human-Object Manipulation with Action-Conditioned Egocentric World Model [14.98308724969322]
  LOMEは、入力画像、テキストプロンプト、フレームごとのヒューマンアクションに条件付けされたビデオとして、現実的な人間とオブジェクトのインタラクションを生成することができる。 LOMEは、空間的人間の行動を共同で推定することで、オブジェクト操作に強力で正確なアクションガイダンスを注入する。 LOMEは、シミュレーション環境に制限されずに、AR/VR体験とスケーラブルなロボットトレーニングの道を開く。
  論文  参考訳（メタデータ） (2026-03-28T23:58:29Z)
• RealisMotion: Decomposed Human Motion Control and Video Generation in the World Space [28.70181587812075]
  本研究では,外見,背景,軌道からの動作を明示的に分離する枠組みを提案する。 本手法は,要素ワイド制御性と全映像品質の両面において,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-08-12T03:02:23Z)
• TokenMotion: Decoupled Motion Control via Token Disentanglement for Human-centric Video Generation [7.900728371180723]
  TokenMotionは、カメラモーションのきめ細かい制御を可能にする、最初のDiTベースのビデオ拡散フレームワークである。 本稿では,人間を意識した動的マスクをブリッジした分離・融合戦略を用いた統一モデリングフレームワークを提案する。 私たちの研究は、コントロール可能なビデオ生成の大幅な進歩を表しており、特にクリエイティブなプロダクションアプリケーションに関係しています。
  論文  参考訳（メタデータ） (2025-04-11T00:41:25Z)
• Move-in-2D: 2D-Conditioned Human Motion Generation [54.067588636155115]
  そこで我々は,シーンイメージに条件付けされた人間の動作シーケンスを生成する新しい手法であるMove-in-2Dを提案する。 本手法はシーンイメージとテキストプロンプトの両方を入力として受け入れ,シーンに合わせた動作シーケンスを生成する。
  論文  参考訳（メタデータ） (2024-12-17T18:58:07Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。