論文の概要: Modality-Autoregressive World-Action Models

• arxiv url: http://arxiv.org/abs/2609.17524v1
• Date: Tue, 15 Sep 2026 17:56:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.656584
• Title: Modality-Autoregressive World-Action Models
• Title（参考訳）: モダリティ-自己回帰的世界行動モデル
• Abstract要約: 我々は,行動を予測する前に,複数の将来のモダリティを自己回帰的に認知する最初のWAMであるModARを紹介する。 我々は、スクラッチからトレーニングを行い、トレーニングデータの混合、予測モダリティ、WAMの定式化がパフォーマンスにどのように影響するかを体系的に研究する。
• 参考スコア（独自算出の注目度）: 44.96048693516864
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: World-action models (WAMs) jointly model future observations and actions, typically predicting the future as RGB images. Other visual modalities such as depth, pretrained visual features, and point tracks can more efficiently capture geometric, semantic, and motion features. However, how best to combine these modalities within WAMs remains an open question. We introduce ModAR, the first WAM to autoregressively denoise multiple future modalities before predicting actions. This allows each prediction to condition on previously generated modalities. We train from scratch to systematically study how training-data mixtures, predicted modalities, and WAM formulations affect performance. In our evaluations, WAMs benefit from predicting point tracks, DINO features, and depth maps, while additionally predicting future RGB does not provide a consistent benefit. We also find that ModAR's sequential generation outperforms existing WAM formulations, with the highest average success rate at all evaluated data scales. We also fine-tune the video-model-initialized WAM Flex-$π$ on the same data; ModAR achieves a slightly higher observed average success rate (75% vs. 72%) while using approximately $20\times$ fewer training FLOPs and no pretraining. On three real-world bimanual tasks, ModAR outperforms baselines and improves with human videos.
• Abstract（参考訳）: 世界行動モデル(WAM)は、将来の観測と行動を共同でモデル化し、通常、RGB画像として未来を予測する。 奥行き、事前訓練された視覚的特徴、点追跡などの他の視覚的モダリティは、幾何学的、意味的、運動的特徴をより効率的に捉えることができる。 しかし、これらのモダリティをWAM内でどのように組み合わせるかは、未解決の問題である。 我々は,行動を予測する前に,複数の将来のモダリティを自己回帰的に認知する最初のWAMであるModARを紹介する。 これにより、各予測は以前に生成されたモダリティを条件にすることができる。 我々は、スクラッチからトレーニングを行い、トレーニングデータの混合、予測モダリティ、WAMの定式化がパフォーマンスにどのように影響するかを体系的に研究する。 我々の評価では、WAMは点線、DINO特徴、深度マップの予測の恩恵を受ける一方、将来的なRGBの予測には一貫した利点が得られない。 また、ModAR の逐次生成は、既存の WAM の定式化よりも優れており、評価されたすべてのデータスケールにおける平均成功率が最も高いことも見出した。 また、ビデオモデルで初期化したWAM Flex-$π$を同じデータで微調整し、ModARは平均的な成功率(75%対72%)をわずかに高くし、約20\times$でFLOPを減らし、事前トレーニングを行わない。 3つの現実世界のバイマニュアルタスクにおいて、ModARはベースラインを上回り、人間のビデオで改善する。

関連論文リスト

• Spatially Aware World Action Model via Geometric Latent Diffusion [42.13843953705695]
  World Action Models (WAM) は、大規模な事前訓練されたビデオ拡散モデルの能力を活用して、将来の観測とアクションを共同で予測する。 本研究では,共同行動,RGB,深度予測のための事前学習ビデオモデルを再利用した空間認識世界行動モデル(SA-WAM)を提案する。 SA-WAM はRoboCasa と LIBERO-Plus のベンチマークで最先端の結果を達成し、同時に将来の予測を改善する。
  論文  参考訳（メタデータ） (2026-09-02T12:42:37Z)
• Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
  DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。 今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。 CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
  論文  参考訳（メタデータ） (2026-03-27T17:20:10Z)
• VFMF: World Modeling by Forecasting Vision Foundation Model Features [67.09340259579761]
  本稿では,視覚基礎モデルの特徴空間における自己回帰フローマッチングを行う生成予測器を提案する。 この潜伏情報の方がPCAベースの代替案よりも効果的であることを示す。 一致したアーキテクチャと計算により、本手法はすべてのモダリティにおける回帰よりもシャープで正確な予測を生成する。
  論文  参考訳（メタデータ） (2025-12-12T02:10:05Z)
• Intention-Conditioned Flow Occupancy Models [80.42634994902858]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• Enhancing Training Data Attribution with Representational Optimization [57.61977909113113]
  トレーニングデータ属性法は、トレーニングデータがモデルの予測にどのように影響するかを測定することを目的としている。 本稿では,タスク固有表現とモデル整合表現をTDAで明示的に学習することで,このギャップを埋める表現ベースアプローチであるAirRepを提案する。 AirRepは、属性品質に合わせて調整されたトレーニング可能なエンコーダと、グループワイドの影響を正確に見積もるアテンションベースのプール機構の2つの重要なイノベーションを紹介している。
  論文  参考訳（メタデータ） (2025-05-24T05:17:53Z)
• MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
  MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。 本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。 我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-02-14T18:59:51Z)
• EDA: Evolving and Distinct Anchors for Multimodal Motion Prediction [27.480524917596565]
  混合モデルに基づくマルチモーダル動作予測のための正および負の成分を定義するために,EDA(Evolving and Distinct Anchors)と呼ばれる新しいパラダイムを導入する。 EDAにより、アンカーは、拡張された回帰能力のために、特定のシーンで自分自身を進化させ、再分割することができる。
  論文  参考訳（メタデータ） (2023-12-15T02:55:24Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。