論文の概要: Vision-Language-Action or World-Action? Just Action Models

• arxiv url: http://arxiv.org/abs/2610.37219v1
• Date: Tue, 27 Oct 2026 13:29:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.64061
• Title: Vision-Language-Action or World-Action? Just Action Models
• Title（参考訳）: ビジョン・ランゲージ・アクションとワールド・アクション : アクションモデルのみ
• Abstract要約: Just Action Model(ジャスト・アクション・モデル、JAM)は、訓練済みの視覚的バックボーンであり、アクションの専門家で、アクション・ロスとフォレスト・ロスで訓練されている。 以上の結果から,将来の監視は視覚生成や追加の推論装置を使わずに制御を改善することが示唆された。
• 参考スコア（独自算出の注目度）: 29.5503814791836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The vision-language-action (VLA) and world-action model (WAM) communities debate whether control policies should inherit pretrained knowledge from vision-language models or from visual generators. The debate, however, bundles three separable choices: backbone initialization, the objective applied to future observations, and whether the machinery for that future loss is kept at inference. A gap between a VLA and a WAM therefore cannot simply be attributed to any one of them. We show that decoupling these choices yields a common framework for both families, which we term Just Action Model (JAM): a pretrained visual backbone with an action expert, trained with an action loss and a foresight loss. The foresight loss trains current-observation features to predict frozen encodings of the recorded future through a prediction head discarded after training, so no visual generation is involved in either training or inference, and the backbone can be chosen freely. We first compare objectives within fixed policy architectures, then evaluate the foresight recipe across backbone families. The resulting JAM policies outperform their matched FastWAM and ImageWAM counterparts on LIBERO and LIBERO-Plus, and achieve similar or slightly higher success rates on RoboTwin. Compared with FastWAM, JAM improves the success rates from 97.0%/55.3%/91.2% to 98.2%/64.5%/91.4%, respectively. With cached foresight targets, JAM reduces estimated online training FLOPs per sample per update by 73% relative to FastWAM. Our results show that future supervision improves control without visual generation or additional inference machinery, and strong foresight performance is attainable with either generator-initialized or vision-language backbones. Project Page: https://y0uroy.github.io/JAM
• Abstract（参考訳）: ビジョン言語アクション(VLA)とワールドアクションモデル(WAM)のコミュニティは、制御ポリシーが事前訓練された知識を視覚言語モデルから継承するか、あるいはビジュアルジェネレータから継承すべきかについて議論している。 しかし、この議論は、バックボーンの初期化、将来の観測に適用される目的、将来の損失のための機械が推測通りに維持されるかどうかの3つの分離可能な選択をまとめている。 したがって、VLAとWAMのギャップは、単純にそれらのいずれかに帰属することができない。 JAM(Just Action Model、ジャスト・アクション・モデル)とは、アクション・エキスパートによる事前訓練された視覚的バックボーンであり、アクション・ロスとフォレスト・ロスを訓練したものである。 フォアフォアロストレインは、トレーニング後に放棄された予測ヘッドを介して、記録された未来の凍結符号化を予測するために現在観測されている特徴であり、トレーニングまたは推論の両方に視覚発生が関与せず、バックボーンを自由に選択することができる。 まず、固定されたポリシーアーキテクチャの目的を比較し、その後、バックボーンファミリー間の監視レシピを評価します。 JAM のポリシーは LIBERO と LIBERO-Plus で一致した FastWAM と ImageWAM よりも優れており、RoboTwin でも同様またはわずかに高い成功率を達成した。 FastWAMと比較すると、JAMは97.0%/55.3%/91.2%から98.2%/64.5%/91.4%に改善している。 キャッシュされたフォレストターゲットにより、JAMは、1回の更新あたりのオンライントレーニングのFLOPをFastWAMと比較して73%削減する。 以上の結果から,将来的な監視は,視覚発生や追加の推論装置を使わずに制御を向上し,ジェネレータの初期化や視覚言語によるバックボーンによる強いフォアサイト性能が達成できることが示唆された。 Project Page: https://y0uroy.github.io/JAM

関連論文リスト

• Forward Dynamics Models [85.83989159271482]
  我々は、アクションと将来の世界状態を予測するロボットアクションモデルのファミリーであるフォワード・ダイナミクス・モデル(FDM)を提示する。 将来の予測は行動の特徴に則っているが、逆ではない。エンドツーエンドのトレーニングは、将来的な国家が政策を監督する。 シミュレーションおよび実ロボットを用いた実験により、両背骨のFDMの有効性が示された。
  論文  参考訳（メタデータ） (2026-10-09T07:12:16Z)
• WOVEN: Weaving Visual World Modeling into Multimodal LLMs [84.25894537929223]
  マルチモーダル大言語モデル(MLLM)は、空間的、具体的、物理的、時間的推論に苦しむ。 視覚遷移推論のためのトレーニングソースおよびベンチマークであるWOVENを紹介する。 MLLMを複数のスケールでトレーニングし、広く伝達する共有能力を学ぶ。
  論文  参考訳（メタデータ） (2026-10-08T17:52:03Z)
• What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling [60.33876128319945]
  世界行動モデル(WAM)は、トレーニング中の行動と共に未来を予測する。 WAMは、分散処理タスクにおいて明示的なタスクと一致するが、もともとWAMを動機付けていた一般化の利点を保たないことがわかった。 提案するSimple-WAMは,将来のモデリングを完全ノイズ付きビデオトークンの1つの前方通過に単純化する。
  論文  参考訳（メタデータ） (2026-09-28T11:56:57Z)
• Achieve What You Imagined: Learning to Align Actions with Visual Plans [37.7412146305617]
  世界行動モデルは、将来の視覚的な観察とロボットのアクションを共同で予測することができる。 視覚的予測と、生成された行動によって引き起こされる結果の間には、相違がある可能性がある。 我々は、フリーズされた行動条件付き世界モデルを用いて、行動条件付き結果の予測とフィードバックの構築を行う。
  論文  参考訳（メタデータ） (2026-09-27T18:32:40Z)
• Modality-Autoregressive World-Action Models [44.96048693516864]
  我々は,行動を予測する前に,複数の将来のモダリティを自己回帰的に認知する最初のWAMであるModARを紹介する。 我々は、スクラッチからトレーニングを行い、トレーニングデータの混合、予測モダリティ、WAMの定式化がパフォーマンスにどのように影響するかを体系的に研究する。
  論文  参考訳（メタデータ） (2026-09-15T17:56:24Z)
• Improving Vision-language Models with Perception-centric Process Reward Models [94.51962346430248]
  トークンレベルのエラーグラウンドを可能にするプロセス報酬モデル(PRM)であるPercevalを提案する。 Percevalは、知覚集約的な教師付きトレーニングデータで訓練される。 次に、ポリシーモデルをトレーニングするために、PercevalをRLトレーニングプロセスに統合します。
  論文  参考訳（メタデータ） (2026-04-27T15:08:02Z)
• Grounded World Model for Semantically Generalizable Planning [94.53923128709965]
  我々は、視覚言語対応の潜在空間において、グラウンドドワールドモデル(GWM)を学習する。 提案された各アクションは、タスク命令に対する将来の結果がどの程度近いかに基づいてスコアされる。 提案したWISERベンチマークでは、GWM-MPCはテストセットで87%の成功率を達成した。
  論文  参考訳（メタデータ） (2026-04-13T17:25:41Z)
• Fast-WAM: Do World Action Models Need Test-time Future Imagination? [39.17692664456295]
  世界行動モデル(WAM)は、身体制御のためのビジョン・ランゲージ・アクション(VLA)モデルに代わる有望な代替品として登場した。 我々は、WAMがテスト時に明らかに将来的な想像力を必要とするのか、それともトレーニング中に主にビデオモデリングから得られる利益なのかを問う。 我々は、トレーニング中にビデオのコトレーニングを継続するが、テスト時に将来の予測を省略するWAMアーキテクチャであるFast-WAMを提案する。
  論文  参考訳（メタデータ） (2026-03-17T15:33:43Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。