論文の概要: Reconstructing Is Not Acting: Action-Centric Latent Dynamics Modeling
- arxiv url: http://arxiv.org/abs/2609.15189v1
- Date: Mon, 14 Sep 2026 08:10:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.180306
- Title: Reconstructing Is Not Acting: Action-Centric Latent Dynamics Modeling
- Title（参考訳）: 再構成は機能しない:アクション中心の潜在ダイナミクスモデリング
- Abstract要約: 潜在アクションモデルは、視覚的遷移から潜在アクションを推論し、将来の状態を再構築することにより、ラベルのないビデオからアクション表現を学習する。
本稿では,アクション抽出とアクション利用の両方を強化する軽量なアクション中心フレームワークである$textbfACT-LAMを提案する。
いくつかのロボットデータセットとVP$2$ベンチマークの実験は、強力な潜在アクション一貫性、フォワードダイナミクス、下流のビジュアルプランニングパフォーマンスを示している。
- 参考スコア（独自算出の注目度）: 21.941208569455657
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Latent action models (LAMs) learn action representations from unlabeled videos by inferring latent actions from visual transitions and reconstructing future states. However, we identify a fundamental $\textbf{reconstruction-action mismatch}$: lower reconstruction error does not necessarily yield better latent dynamics or downstream performance. We attribute this mismatch to two underconstrained aspects of reconstruction-based latent dynamics modeling: (i) the inverse dynamics model (IDM) is not explicitly encouraged to distinguish action-related transitions from nuisance appearance, and (ii) the forward dynamics model (FDM) can underutilize the inferred latent action by exploiting predictive shortcuts from the current state. To address both limitations, we propose $\textbf{ACT-LAM}$, a lightweight action-centric framework that strengthens both action extraction and action utilization. Specifically, its Action Query IDM (AQ-IDM) employs learnable action queries and gated aggregation to selectively extract rich action-related transition cues without strong information bottlenecks. And its Action Token FDM (AT-FDM) projects latent actions into action tokens that progressively interact with evolving state representations, enabling continuous state-aware action conditioning. ACT-LAM further streamlines feature processing to concentrate model capacity on latent dynamics modeling. Extensive experiments on several robotic datasets and the VP$^2$ benchmark demonstrate stronger latent action consistency, forward dynamics, and downstream visual planning performance with fewer trainable parameters and lower computational overhead. In particular, ACT-LAM surpasses the previous state of the art by $\textbf{7.6%}$ on the aggregated VP$^2$ success rate. Codes at $\href{https://github.com/DingjieFu/ACT-LAM}{url}$.
- Abstract（参考訳）: 潜在アクションモデル(LAM)は、視覚的遷移から潜在アクションを推論し、将来の状態を再構築することによって、ラベルのないビデオからアクション表現を学ぶ。
しかし、基本的な$\textbf{reconstruction-action mismatch}$: 低い再構成誤差は必ずしも遅延力学や下流性能を向上させるとは限らない。
我々はこのミスマッチを、再構成に基づく潜在力学モデリングの2つの過小制約された側面に当てはめている。
(i)逆ダイナミクスモデル(IDM)は、行動関連トランジションとニュアンス外観との区別を明示的に推奨していない。
(II)フォワード・ダイナミクス・モデル(FDM)は、現在の状態から予測的ショートカットを活用することにより、推論された潜在動作を未利用にすることができる。
両方の制約に対処するために、アクション抽出とアクション利用の両方を強化する軽量なアクション中心フレームワークである$\textbf{ACT-LAM}$を提案する。
具体的には、AQ-IDM(Action Query IDM)は学習可能なアクションクエリとゲートアグリゲーションを使用して、強力な情報ボトルネックなしにリッチなアクション関連トランジションキューを選択的に抽出する。
そして、Action Token FDM(AT-FDM)は、潜在アクションを、進化する状態表現と徐々に相互作用するアクショントークンに投影し、継続的な状態認識アクションコンディショニングを可能にする。
ACT-LAMはさらに機能処理を合理化し、潜在力学モデリングにモデルキャパシティを集中させる。
いくつかのロボットデータセットとVP$2$ベンチマークに関する大規模な実験は、トレーニング可能なパラメータが少なく、計算オーバーヘッドも少ない、より強力な潜在アクション一貫性、フォワードダイナミクス、下流視覚計画性能を示す。
特にACT-LAMは、集計されたVP$^2$成功率に対して、以前の最先端を$\textbf{7.6%}$で上回る。
コードネームは$\href{https://github.com/DingjieFu/ACT-LAM}{url}$。
関連論文リスト
- Overcoming Statistical Bias in Action-Controllable World Models [18.890337378174678]
アクション条件付き世界モデルは、エージェントのアクションの下で視覚環境がどのように進化するかを予測することを目的としている。
将来のフレームは、しばしば視覚的慣性や反復的な動きパターンから非常に予測可能である。
アクション制御性を高めるために,CoCoという対実整合性フレームワークを紹介した。
論文 参考訳（メタデータ） (2026-08-05T10:10:36Z) - Causally Debiased Latent Action Model for Embodied Action Conditioned World Models [47.281442841934876]
行動条件付き世界モデル(ACWMs)は、身体的行動に基づく将来の観測をシミュレートすることを目的としている。
既存のLAMは、通常、再構築のみの目的で訓練される。
LAMベースのACWMのための因果脱バイアスフレームワークCD-LAMを提案する。
論文 参考訳（メタデータ） (2026-07-10T08:20:27Z) - SCAR: Self-Supervised Continuous Action Representation Learning [36.917304453471864]
視覚的遷移から具現化された動作表現を学習するための共同逆フォワード動的フレームワークであるSCARを提案する。
事前訓練された生成バックボーン上に構築されたSCARは、逆ダイナミクスモデル(IDM)を使用して、潜時観測ペアから潜時動作を推論し、フォワードダイナミクスモデル(FDM)を用いて、それらに条件付けられた将来のダイナミクスを予測する。
Procgen と Robotwin のデータセットの実験により、学習された統合潜在行動表現は、具体化固有の生の行動よりも、世界モデリングのためのより強い条件付けインターフェースとして機能することが示された。
論文 参考訳（メタデータ） (2026-05-13T16:23:11Z) - RotVLA: Rotational Latent Action for Vision-Language-Action Model [54.22746299071677]
本稿では,連続的な回転潜在動作表現に基づくVLAフレームワークであるRotVLAを紹介する。
潜在作用はSO(n) の元としてモデル化され、連続性、構成性、および実世界の作用力学と整合した構造的幾何学を提供する。
RotVLAはVLMバックボーンとフローマッチングアクションヘッドで構成される。
論文 参考訳（メタデータ） (2026-05-13T11:58:02Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-12T14:15:16Z) - InstrAct: Towards Action-Centric Understanding in Instructional Videos [12.356484522873577]
InstrActionは、インストラクショナルビデオのアクション中心表現のための事前トレーニングフレームワークである。
まず、ノイズの多いキャプションをフィルタリングし、アクション中心のハードネガティブを生成する、データ駆動型戦略を導入する。
視覚的特徴レベルでは、Action Perceiverは、冗長なビデオエンコーディングからモーション関連トークンを抽出する。
論文 参考訳（メタデータ） (2026-04-09T20:51:13Z) - SPIRAL: A Closed-Loop Framework for Self-Improving Action World Models via Reflective Planning Agents [135.00390535239129]
本稿では,自己改善型計画および反復的行動世界モデリングフレームワークであるSPIRALを紹介する。
SPIRALはActWMをクローズドループシンク-アクト-リフレクションプロセスとして定式化し、そこで生成は明示的な計画とフィードバックの下で段階的に進行する。
複数のTI2Vバックボーンに対する実験は、ActWM-Benchとメインストリームのビデオ生成ベンチマークで一貫した利得を示している。
論文 参考訳（メタデータ） (2026-03-09T14:00:36Z) - MOTIF: Learning Action Motifs for Few-shot Cross-Embodiment Transfer [55.982504915794514]
クロス・エボディメント・ポリシーは一般的に共有プライベート・アーキテクチャに依存している。
本報告では,MOTIFを効率よく数発のクロスボディーメントトランスファーに適用する。
我々はMOTIFが数発の転送シナリオにおいて強いベースラインを著しく上回ることを示す。
論文 参考訳（メタデータ） (2026-02-14T13:21:40Z) - \ extsc{NaVIDA}: Vision-Language Navigation with Inverse Dynamics Augmentation [50.027425808733994]
textscNaVIDAは、ポリシー学習とアクショングラウンドの視覚力学と適応実行を結合した統合VLNフレームワークである。
textscNaVIDAは、チャンクベースの逆ダイナミクスによるトレーニングを強化し、視覚変化と対応するアクションの因果関係を学習する。
実験の結果,textscNaVIDAはパラメータが少ない最先端の手法に比べてナビゲーション性能が優れていることがわかった。
論文 参考訳（メタデータ） (2026-01-26T06:16:17Z) - DyMoDreamer: World Modeling with Dynamic Modulation [52.27044216359359]
深層強化学習(DRL)における重要なボトルネックはサンプル非効率である。
動的変調機構を組み込んだ新しいアルゴリズムDyMoDreamerを導入し,動的特徴抽出の改善と時間情報の充実を図る。
実験によると、DyMoDreamer は Atari 100$k ベンチマークに新しい最先端のスコアをセットし、平均156.6$% の人間正規化スコアを設定できる。
論文 参考訳（メタデータ） (2025-09-29T13:54:42Z) - Capturing Rich Behavior Representations: A Dynamic Action Semantic-Aware Graph Transformer for Video Captioning [13.411096520754507]
既存のビデオキャプション手法は、単にオブジェクトの振舞いの浅いあるいは単純化した表現を提供するだけである。
本稿では,オブジェクトの振る舞いの本質を包括的に把握する動的アクション意味認識グラフ変換器を提案する。
論文 参考訳（メタデータ） (2025-02-19T14:16:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。