論文の概要: OnlyAct: Extracting Action Representations from Foundation Models for World Models
- arxiv url: http://arxiv.org/abs/2611.14420v1
- Date: Tue, 10 Nov 2026 17:59:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.925223
- Title: OnlyAct: Extracting Action Representations from Foundation Models for World Models
- Title(参考訳): OnlyAct:世界モデルの基礎モデルから行動表現を抽出する
- Abstract要約: アクションラベルは不足しており、互換性のない仕様で断片化されており、ラベルなしのビデオ事前トレーニングコーパスではスケールしない。
一般的な回避策は、連続したフレームを潜在動作に圧縮するようにアクションエンコーダとデコーダとを共同で訓練し、次のフレームを前フレームと潜伏から再構築し、潜伏者が新しい情報のみを取得するように強制する。
異なるシーン下で同じ動きを共有するフレームペアをまとめて、異なる動きで同じシーンから分離するラベルフリーコントラスト適応フレームワークを提案し、再構成ボトルネックを伴わずに事前学習された空間の幾何学を再構築する。
- 参考スコア(独自算出の注目度): 71.72008274011196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video world models promise general-purpose interactive simulators, but their training is limited by action supervision: action labels are scarce, fragmented across incompatible specifications, and do not scale with the unlabeled video pretraining corpus. A common workaround jointly trains an action encoder to compress consecutive frames into a latent action and a decoder to reconstruct the next frame from the previous frame and that latent, forcing the latent to capture only new information. This has two limitations: learning the action space from scratch can limit generalization to unseen domains, and the bottleneck trades expressiveness for separation, with tighter settings losing nuance and looser ones risking scene leakage under domain shifts. We argue for a different starting point: rather than learning actions from scratch, we start from a pretrained foundation model (V-JEPA 2), whose embeddings of a frame pair already carry substantial action information after large-scale, diverse video pretraining. The remaining challenge is to extract the action while discarding the scene. We propose a label-free contrastive adaptation framework that pulls together frame pairs sharing the same motion under a different scene and pushes apart pairs from the same scene with different motion, reshaping the geometry of the pretrained space without imposing a reconstruction bottleneck. We introduce a unified evaluation protocol along three axes (action expressiveness, scene invariance, and action-conditioned video generation quality) across robot manipulation, camera navigation, game, and driving benchmarks, most of which are unseen during adaptation. Compared with annotation-free latent-action methods, our representations are substantially more expressive while matching their scene invariance, and they yield world models that transfer demonstrated actions to new scenes more faithfully.
- Abstract(参考訳): アクションラベルは不足しており、互換性のない仕様で断片化されており、ラベルのないビデオ事前学習コーパスではスケールしない。
一般的な回避策は、連続したフレームを潜在動作に圧縮するようにアクションエンコーダとデコーダとを共同で訓練し、次のフレームを前フレームと潜伏から再構築し、潜伏者が新しい情報のみを取得するように強制する。
これは2つの制限がある: アクション空間をスクラッチから学習することで、一般化を目に見えないドメインに制限することができる。
我々は、スクラッチからアクションを学習するのではなく、フレームペアの埋め込みが、大規模で多様なビデオ事前トレーニング後にすでにかなりのアクション情報を伝達している、事前訓練された基礎モデル(V-JEPA2)から始める。
残りの課題は、シーンを破棄しながらアクションを抽出することである。
異なるシーン下で同じ動きを共有するフレームペアをまとめて、異なる動きで同じシーンから分離するラベルフリーコントラスト適応フレームワークを提案し、再構成ボトルネックを伴わずに事前学習された空間の幾何学を再構築する。
本稿では,ロボット操作,カメラナビゲーション,ゲーム,運転ベンチマークの3つの軸(動作表現性,シーン不変性,動作条件付き映像生成品質)に沿った統一評価プロトコルを提案する。
アノテーションのないラテントアクション法と比較すると、これらの表現はシーンの不変性にマッチしながらかなり表現力があり、新しいシーンに実演アクションを伝達する世界モデルが得られる。
関連論文リスト
- Learning Dynamic Grasping [38.87382285986781]
キャラクタアニメーション,拡張現実,エンボディエージェントの4Dハンドオブジェクト把握シーケンスを合成する。
我々のフレームワークは、物体の運動回復から手動生成を分離する。
latentHOIと比較して,本手法は各設定においてよりスムーズな手と物体の動きを生成し,接触と侵入の指標を一致または改善する。
論文 参考訳(メタデータ) (2026-10-10T12:06:43Z) - ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow [24.623235518370695]
我々は、インタラクティブなビデオワールドモデルの任意のアクション、フレームレベル制御に対する新しいアプローチであるShadowDancerを提示する。
既存のインターフェイスはアクションを緩やかにエンコードし、モデルが即興的に展開する方法を残したり、構造化された信号を通じて正確にエンコードしたりする。
ShadowDancer氏はこれを,2つの重要なイノベーション – シャドウペア,独立して再サンプリングされた外観の下で同じダイナミクスを再生するビデオペア,シャドウ間の予測 – で対処する。
論文 参考訳(メタデータ) (2026-07-30T15:28:43Z) - Unified Video-Action Joint Denoising for Dexterous Action and Data Generation [13.23337683310307]
我々は,デクスタラスハンドのための統合ビデオアクション認知モデルであるDonkを提案する。
Donkは、アクションポリシーとして、将来のビデオと双方向のMANO軌道をサンプリングする。
画像条件がなければ、同じDenoisingアーキテクチャは、テキスト条件のディストリビューションからビデオアクションのロールアウトをサンプリングする。
論文 参考訳(メタデータ) (2026-06-02T16:39:23Z) - ActionParty: Multi-Subject Action Binding in Generative Video Games [117.52562594944679]
ActionPartyは、ゲーム生成のための制御可能な多目的世界モデルである。
46の多様な環境において最大7人のプレイヤーを同時に制御できる最初のビデオワールドモデルを実証する。
論文 参考訳(メタデータ) (2026-04-02T17:59:58Z) - Olaf-World: Orienting Latent Actions for Video World Modeling [100.96069208914957]
アクションコントロール可能な世界モデルのスケーリングは、アクションラベルの不足によって制限される。
大規模受動的ビデオから行動条件付きビデオワールドモデルを事前訓練するパイプラインであるOraf-Worldを紹介する。
論文 参考訳(メタデータ) (2026-02-10T18:58:41Z) - Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。
我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。
トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
論文 参考訳(メタデータ) (2024-04-16T16:04:38Z) - Free-Form Composition Networks for Egocentric Action Recognition [97.02439848145359]
本稿では,不整形動詞,前置詞,名詞表現を同時に学習できる自由形合成ネットワーク(FFCN)を提案する。
提案したFFCNは、レアクラスのトレーニングデータを直接生成できるため、動作認識性能が大幅に向上する。
論文 参考訳(メタデータ) (2023-07-13T02:22:09Z) - Weakly-Supervised Temporal Action Localization with Bidirectional
Semantic Consistency Constraint [83.36913240873236]
WTAL(Weakly Supervised Temporal Action Localization)は、ビデオの時間的境界を分類し、ローカライズすることを目的としている。
本研究では,双方向意味整合性制約 (Bi-SCC) という単純な手法を提案する。
実験結果から,THUMOS14とActivityNetの最先端手法よりも優れた結果が得られた。
論文 参考訳(メタデータ) (2023-04-25T07:20:33Z) - Towards Tokenized Human Dynamics Representation [41.75534387530019]
我々は,ビデオの時間的パターンを自己監督的に分割し,クラスタ化する方法について検討した。
我々は、ケンドールのTauによるフレームワイド表現学習ステップと、正規化された相互情報と言語エントロピーによる語彙構築ステップを評価する。
AIST++とPKU-MMDデータセットでは、アクトンはいくつかのベースラインと比較して大幅にパフォーマンスが改善されている。
論文 参考訳(メタデータ) (2021-11-22T18:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。