論文の概要: What Visual Representations Do World Action Models Need?

• arxiv url: http://arxiv.org/abs/2610.13024v1
• Date: Fri, 09 Oct 2026 05:26:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.406792
• Title: What Visual Representations Do World Action Models Need?
• Title（参考訳）: 世界行動モデルに必要な視覚的表現
• Abstract要約: ワールドアクションモデル(WAM)は、事前訓練されたビデオ生成モデルから強力な先行情報を継承するが、それらの変動オートエンコーダ(VAE)表現は、操作よりも視覚的再構成に最適化されている。 視覚表現,5つの統合機構,および制御された条件下での機能の組み合わせを系統的に比較する。
• 参考スコア（独自算出の注目度）: 26.57707886679699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World Action Models (WAMs) inherit powerful priors from pretrained video generation models, but their variational autoencoder (VAE) representations are optimized for visual reconstruction rather than manipulation. External visual representations can improve manipulation, but existing methods couple representation choices with different integration mechanisms, obscuring their individual effects. We systematically compare visual representations, five integration mechanisms, and feature combinations under controlled settings. Our study yields three main findings. First, strong general-purpose visual representations provide broader robustness gains and can match or outperform representations pretrained for specific visual capabilities. Second, channel-wise joint prediction achieves the highest average success rate; further analyses suggest that future-feature prediction and the action expert's effective use of added visual information contribute to its gains. Third, additional sources should be selected for the task-relevant information they contribute beyond existing representations, as the same source can help one combination but harm another. However, even the best evaluated composition provides a smaller additional gain than the initial improvement from adding a strong general-purpose representation to the VAE-only baseline. We instantiate the resulting Representation Recipe as R$^2$-WAM. It achieves state-of-the-art performance on RoboCasa GR1 Tabletop with an 84.7% success rate and reaches 92.8% on RoboTwin 2.0, improving over the VAE-only baselines by 5.9 and 2.2 percentage points, respectively. Taken together, these findings suggest that future work should prioritize stronger general-purpose visual representations and more effective mechanisms for integrating them into WAMs, with feature composition serving as a supplementary route to improvement.
• Abstract（参考訳）: ワールドアクションモデル(WAM)は、事前訓練されたビデオ生成モデルから強力な先行情報を継承するが、それらの変動オートエンコーダ(VAE)表現は、操作よりも視覚的再構成に最適化されている。 外部の視覚的表現は操作を改善することができるが、既存の方法は異なる統合メカニズムで表現の選択を結合し、個々の効果を隠蔽する。 視覚表現,5つの統合機構,および制御された条件下での機能の組み合わせを系統的に比較する。 私たちの研究は3つの主要な発見をもたらす。 第一に、強力な汎用的な視覚表現は、より広範な堅牢性向上をもたらし、特定の視覚能力のために事前訓練された表現にマッチまたは上向くことができる。 第2に、チャネルワイド共同予測は平均成功率を最大に達成し、さらに分析により、将来的な予測とアクションエキスパートによる視覚情報追加の効果的な利用が、その利益に寄与することを示唆している。 第3に、既存の表現を超えて貢献するタスク関連情報に対して追加のソースを選択する必要がある。 しかしながら、最も優れた評価された構成でさえ、VAEのみのベースラインに強力な汎用表現を追加することで、初期の改善よりも小さな追加利得を提供する。 結果のRepresentation Recipeを R$^2$-WAM としてインスタンス化する。 RoboCasa GR1 Tabletopは84.7%の成功率で、RoboTwin 2.0では92.8%に達し、VAEのみのベースラインを5.9ポイントと2.2ポイント改善した。 これらの結果から,今後はより汎用的な視覚表現を優先し,WAMに組み込むためのより効果的なメカニズムを優先し,機能構成が改善のための補助的ルートとして機能することが示唆された。

関連論文リスト

• HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents [71.09493646932046]
  本稿では,実世界のエンボディエージェントに特化して設計された基礎モデルのファウンデーションモデルであるHY-Embodied-0.5を紹介する。 HY-Embodied-0.5スイートは、エッジ配置用に設計された2Bアクティベートパラメータを持つ効率的なモデルと、複雑な推論をターゲットとした32Bアクティベートパラメータを持つ強力なモデルである。 私たちのMoT-2Bモデルは16ベンチマークで同等の大きさの最先端モデルより優れていますが、32BはGemini 3.0 Proのようなフロンティアモデルに匹敵するパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2026-04-08T17:59:48Z)
• Visual-ERM: Reward Modeling for Visual Equivalence [59.317480168347664]
  Visual Equivalence Reward Model (Visual-ERM)は、細粒度、解釈可能、タスクに依存しないフィードバックを提供するマルチモーダル生成報酬モデルである。 Visual-ERM は Qwen3-VL-8B-Instruct を 8.4 で改善し、テーブルとSVGのパースで一貫したゲインを得る。 VisualCritic-RewardBench(VC-RewardBench)は、構造化された視覚データに対して微細な画像と画像の相違を判定するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-03-13T17:58:14Z)
• Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
  AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。 我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。 また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
  論文  参考訳（メタデータ） (2025-10-01T17:58:05Z)
• Neighbor-Based Feature and Index Enhancement for Person Re-Identification [11.268034456071542]
  人物の再識別(Re-ID)は、異なるカメラとビューを備えた大きなギャラリーで同じ歩行者にマッチすることを目的としている。 既存の手法は通常、モデルアーキテクチャを改善することで特徴表現を改善する。 本稿では,特徴表現と指標性能の両立を図るため,潜伏した近傍情報を活用する新しいモデルDMON-AROを提案する。
  論文  参考訳（メタデータ） (2025-04-16T06:13:20Z)
• Unified Reward Model for Multimodal Understanding and Generation [32.22714522329413]
  本稿では,マルチモーダル理解と生成評価のための最初の統一報酬モデルUnifiedRewardを提案する。 まず、構築した大規模人間の嗜好データセットに基づいてUnifiedRewardを開発し、画像生成/映像生成/理解タスクを含む。
  論文  参考訳（メタデータ） (2025-03-07T08:36:05Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• HAIChart: Human and AI Paired Visualization System [17.828527048327548]
  HAIChartは、ユーザフィードバックを取り入れて、与えられたデータセットに対して優れた視覚化を推奨するように設計された強化学習ベースのフレームワークである。 本稿では,モンテカルログラフ検索に基づく可視化生成アルゴリズムと合成報酬関数を組み合わせて,視覚化空間を効率的に探索し,優れた視覚化を自動的に生成する手法を提案する。 我々は定量的評価とユーザスタディの両方を行い、HAIChartは最先端の人力ツール(リコールでは21%、CPUでは1.8倍)とAIによる自動ツール(Hit@3とR10@30では25.1%、それぞれ14.9%)を大きく上回っていることを示した。
  論文  参考訳（メタデータ） (2024-06-16T18:04:47Z)
• Unveiling Backbone Effects in CLIP: Exploring Representational Synergies and Variances [49.631908848868505]
  コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。 各種ニューラルアーキテクチャにおけるCLIP性能の違いについて検討する。 我々は、複数のバックボーンからの予測を組み合わせるためのシンプルで効果的なアプローチを提案し、最大6.34%のパフォーマンス向上につながった。
  論文  参考訳（メタデータ） (2023-12-22T03:01:41Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• VS-TransGRU: A Novel Transformer-GRU-based Framework Enhanced by Visual-Semantic Fusion for Egocentric Action Anticipation [33.41226268323332]
  エゴセントリックなアクション予測は、一人称視点で将来のアクションを先進的に予測することを目的とした課題である。 既存のほとんどの手法は、視覚入力とリカレントニューラルネットワークに基づくモデルアーキテクチャと損失関数の改善に重点を置いている。 本稿では,新しいビジュアル・セマンティック融合とトランスフォーマーGRUに基づくアクション予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-08T06:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。