論文の概要: JEPA-WAM: Connecting Generated Visual Instructions to World Action Models through JEPA Latent Representations

• arxiv url: http://arxiv.org/abs/2609.20277v1
• Date: Tue, 04 Aug 2026 06:08:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.651953
• Title: JEPA-WAM: Connecting Generated Visual Instructions to World Action Models through JEPA Latent Representations
• Title（参考訳）: JEPA-WAM:JEPA遅延表現による生成した視覚インストラクションとワールドアクションモデルとの接続
• Abstract要約: World Action Models (WAM) は、トレーニング済みのビデオ生成モデルとアクションエキスパートを併用することで、強力なロボット操作能力を実証している。 現在のWAMは、テキスト命令のみを条件とした場合の命令追従能力に制限がある。 JEPAWAMを導入し、多様な視覚的指示のバンクで各テキスト命令を拡大する。
• 参考スコア（独自算出の注目度）: 13.540660245495005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World Action Models (WAMs) have demonstrated strong robotic manipulation capabilities by augmenting pretrained video generative models with action experts. However, current WAMs still show limited instruction-following ability when conditioned solely on text instructions. We argue that this limitation stems in part from a structural imbalance in robot-learning data: rich visual-action trajectories are often paired with sparse and repetitive language annotations, allowing policies to identify tasks from visual context and motion regularities rather than grounding the instruction itself. To address this limitation, we introduce JEPA-WAM, which augments each text instruction with a bank of stochastically generated visual instructions, providing diverse visual cues for instruction following. Specifically, JEPA-WAM uses an off-the-shelf text-to-image generator to sample multiple task-completion images conditioned on the text instruction, without training the generator. Although these generated images may differ from the current visual scene in appearance and layout, they remain semantically aligned with the instruction and serve as visual goal references. To focus on task-level semantics beyond appearance, we encode these references with a frozen V-JEPA 2.1 encoder. The resulting dense goal representations are compressed into compact goal tokens that condition both the video and action experts through cross-attention. We further construct a real-robot instruction-following benchmark covering in-distribution, out-of-distribution scene, and out-of-distribution instruction settings. On this benchmark, JEPA-WAM achieves success rates of 87.3%, 74.5%, and 80.9% in these three settings, outperforming π0 and Fast-WAM by at least 10.0, 27.3, and 14.5 percentage points, respectively.
• Abstract（参考訳）: World Action Models (WAM) は、トレーニング済みのビデオ生成モデルとアクションエキスパートを併用することで、強力なロボット操作能力を実証している。 しかし、現在のWAMは、テキスト命令のみを条件とした場合、命令追従能力に制限がある。 この制限は、ロボット学習データの構造的不均衡に起因している、と我々は主張する: 豊かな視覚行動軌跡は、しばしばスパースで反復的な言語アノテーションと組み合わせられ、命令自体を根拠にするのではなく、視覚的文脈や運動規則からタスクを識別するポリシーを可能にする。 この制限に対処するために、JEPA-WAMを導入する。これは、各テキスト命令を確率的に生成された視覚的命令のバンクで拡張し、指示に従うための多様な視覚的手がかりを提供する。 具体的には、JEPA-WAMは、既製のテキスト・トゥ・イメージ・ジェネレータを使用して、ジェネレータを訓練することなく、テキスト命令で条件付けられた複数のタスク・コンプリートイメージをサンプリングする。 これらの生成画像は、外観やレイアウトの現在の視覚的シーンとは異なるかもしれないが、命令と意味的に一致し、視覚的ゴール参照として機能する。 外観以外のタスクレベルのセマンティクスにフォーカスするために、凍結したV-JEPA 2.1エンコーダでこれらの参照をエンコードする。 結果として得られる高密度な目標表現は、クロスアテンションを通じてビデオとアクションの専門家の両方を条件付けるコンパクトな目標トークンに圧縮される。 さらに,分布内,分布外シーン,分布外命令設定をカバーした実ロボット命令追従ベンチマークを構築した。 このベンチマークでは、JEPA-WAMは3つの設定で87.3%、74.5%、80.9%の成功率を達成した。

関連論文リスト

• Not All Features Are Created Equal: A Mechanistic Study of Vision-Language-Action Models [2.5338045371474816]
  VLA(Vision-Language-Action)モデルは、単一のアーキテクチャにおける知覚、言語、運動制御を組み合わせたモデルである。 394,000回以上のロールアウトエピソードにまたがる80M--7Bパラメータに,アクティベーションインジェクション,スパースオートエンコーダ,線形プローブを適用した。
  論文  参考訳（メタデータ） (2026-03-19T17:59:55Z)
• Explanatory Instructions: Towards Unified Vision Tasks Understanding and Zero-shot Generalization [77.36122979882649]
  コンピュータビジョン(CV)は自然言語処理(NLP)で観測されるゼロショットタスクの一般化をまだ完全に達成していない 本稿では,ゼロショットタスクの一般化において重要な障壁となる離散的・用語的タスク定義をCVが採用するという考えを考察する。 我々の仮説は、これらの用語的定義により、以前に見いだされたタスクを真に理解せずに、ディープモデルは新しいタスクに一般化するのに苦労する、というものである。
  論文  参考訳（メタデータ） (2024-12-24T16:08:25Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Spatio-Temporal Context Prompting for Zero-Shot Action Detection [13.22912547389941]
  本稿では,視覚言語モデルの豊富な知識を効果的に活用し,対人インタラクションを実現する手法を提案する。 同時に複数の人物による異なる行動を認識するという課題に対処するために,興味あるトークンスポッティング機構を設計する。 提案手法は,従来の手法に比べて優れた結果を得ることができ,さらにマルチアクションビデオに拡張することができる。
  論文  参考訳（メタデータ） (2024-08-28T17:59:05Z)
• Fine-tuning Multimodal LLMs to Follow Zero-shot Demonstrative Instructions [126.3136109870403]
  汎用的で軽量なVisual Prompt Generator Complete Module (VPG-C)を導入する。 VPG-Cは、実証的な指示を解釈するために欠落した詳細を推測し、完成する。 私たちは、実証的な命令理解のための包括的なベンチマークであるDEMONを構築します。
  論文  参考訳（メタデータ） (2023-08-08T09:32:43Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。