論文の概要: Lost in Reconstruction: Aligning Action Representations with Language in Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2608.10484v1
• Date: Tue, 11 Aug 2026 04:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.91101
• Title: Lost in Reconstruction: Aligning Action Representations with Language in Vision-Language-Action Models
• Title（参考訳）: 再建における損失:視覚・言語・行動モデルにおける言語による行動表現の調整
• Abstract要約: 行動動詞は、行動の物理的結果だけでなく、その行動の実行方法も記述する。 行動軌跡には視覚的状態変化以外の動詞接頭情報が含まれていることを示す。 本稿では,補助目的によりVQ-VAE型トークン化器を増強するセマンティックアライズされたアクショントークン化器であるSALTを紹介する。
• 参考スコア（独自算出の注目度）: 17.174984369856556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Action verbs describe not only the physical outcomes of actions, but also how those actions are performed. Yet action representations in vision-language-action models (VLAs) are typically optimized for reconstruction under L1/L2 losses in raw action space, where numerical proximity need not reflect linguistically meaningful distinctions. On BridgeV2, we show that action trajectories contain verb-grounding information beyond visual state changes, and that reconstruction-only discrete tokenization systematically erodes this information. To address this problem, we introduce SALT, a Semantically ALigned action Tokenizer that augments a VQ-VAE-style tokenizer with an auxiliary objective requiring a frozen vision-language model to recover the episode instruction from quantized action latents. Policies trained with SALT achieve 71.9% average success in SimplerEnv, compared with 42.7% for a reconstruction-only VQ-VAE tokenizer and 31.2% for FAST. SALT also develops verb-specialized codes while maintaining reconstruction fidelity. These results show that robot action trajectories provide a source of language grounding and that preserving this structure in action representations can substantially improve language-conditioned control.
• Abstract（参考訳）: 行動動詞は、行動の物理的結果だけでなく、その行動の実行方法も記述する。 しかし、視覚言語行動モデル(VLA)における行動表現は、通常、言語的に意味のある区別を反映する必要のない、生の行動空間におけるL1/L2損失下での再構成のために最適化される。 BridgeV2では,行動軌跡には視覚的状態変化以外の動詞接頭情報が含まれており,再構成のみによる離散的トークン化が,この情報を体系的に損なうことを示す。 この問題に対処するために,VQ-VAE方式のトークン化器を補助目的に拡張したSemantically ALigned Action TokenizerであるSALTを導入する。 SALTで訓練された政策はSimplerEnvで平均71.9%成功し、再構成専用VQ-VAEトークンーザでは42.7%、FASTでは31.2%となった。 SALTはまた、再建の忠実さを維持しながら、動詞特化コードも開発している。 これらの結果から,ロボット行動軌跡は言語基盤の源泉となり,この構造を動作表現に保存することで言語条件制御を大幅に改善できることが示された。

関連論文リスト

• Grounded Semantic Re-Binding for Robust Instruction Generalization in Vision-Language-Action Models [20.8047896631941]
  VLA(Vision-Language-Action)モデルは、ロボット操作において優れているが、標準的な指示が言い換えられると破滅的な性能低下を被る。 現状のVLAでは,タスクの正当性を内部的に保持することに成功した。 不安定な関節経路をバイパスするエレガントな介入であるグラウンドド・セマンティック・リバインド(GSR)を提案する。
  論文  参考訳（メタデータ） (2026-08-03T17:02:04Z)
• Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment [42.503300854478795]
  Anchor-Alignはロボットのデモにおける視覚言語アクションポリシーを改善している。 凍結したVLMコピーから層幅の表現を蒸留し、このドリフトを防ぐ。 各アクションターゲットを離散的なモーション指向ラベルに変換し、共同で言語とアクション予測を訓練する。
  論文  参考訳（メタデータ） (2026-07-15T04:13:54Z)
• QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
  VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。 VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。 提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
  論文  参考訳（メタデータ） (2026-05-24T06:28:53Z)
• PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations [66.94988600664574]
  我々は,目標達成型強化学習を通じて事前学習を再構築するVLA基盤モデルであるtextbfPRTS(textbfPrimitive textbfReasoning and textbfTasking textbfSystem)を提案する。
  論文  参考訳（メタデータ） (2026-04-30T06:14:02Z)
• VLA-Forget: Vision-Language-Action Unlearning for Embodied Foundation Models [0.10742675209112619]
  OpenVLAスタイルのポリシーでは、動作は融合したビジュアルエンコーダ、クロスモーダルプロジェクタ、トークン化されたロボットアクションを予測する言語バックボーンを通じて生成される。 VLA-Forgetは、認識のための比認識選択的編集と、層選択的推論/アクションアンラーニングを組み合わせたハイブリッドアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-04-05T04:23:18Z)
• Not All Features Are Created Equal: A Mechanistic Study of Vision-Language-Action Models [2.5338045371474816]
  VLA(Vision-Language-Action)モデルは、単一のアーキテクチャにおける知覚、言語、運動制御を組み合わせたモデルである。 394,000回以上のロールアウトエピソードにまたがる80M--7Bパラメータに,アクティベーションインジェクション,スパースオートエンコーダ,線形プローブを適用した。
  論文  参考訳（メタデータ） (2026-03-19T17:59:55Z)
• See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
  本稿では,See, Plan, Rewind (SPR)について紹介する。 SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。 SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
  論文  参考訳（メタデータ） (2026-03-10T07:22:51Z)
• ActionCodec: What Makes for Good Action Tokenizers [106.78093973045526]
  VLA(Vision-Language-Action)モデルでは、より優れた命令追従と訓練効率が示されている。 このパラダイムの中心はアクショントークン化であるが、その設計は主に再構築の忠実さに焦点を当てている。 我々は、トレーニング効率とVLA性能の両方を大幅に向上させる高性能なアクショントークンであるtextbfActionCodecを紹介する。
  論文  参考訳（メタデータ） (2026-02-17T07:07:15Z)
• TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models [57.32952956674526]
  大規模視覚言語モデル(LVLM)に対するより回避的でステルス的なバックドア攻撃であるTokenSwapを紹介する。 固定されたターゲットコンテンツを強制するのではなく、TokenSwapはテキスト内のオブジェクト関係の理解を微妙に妨害する。 TokenSwapは、優れた回避性とステルス性を維持しながら、高い攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-09-29T10:19:22Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。