論文の概要: Observing and Controlling Features in Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2603.05487v1
• Date: Thu, 05 Mar 2026 18:53:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:41.951091
• Title: Observing and Controlling Features in Vision-Language-Action Models
• Title（参考訳）: 視覚・言語・行動モデルにおける特徴の観察と制御
• Abstract要約: VLA(Vision-Language-Action Models)は、インボディードインテリジェンスに対する顕著な進歩を示している。 機能可観測性と機能可制御性という,2つの主要な概念を紹介し,分析する。 この結果から,ロボットの動作を確実に制御する,目標とする軽量な介入が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 20.193036403223903
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action Models (VLAs) have shown remarkable progress towards embodied intelligence. While their architecture partially resembles that of Large Language Models (LLMs), VLAs exhibit higher complexity due to their multi-modal inputs/outputs and often hybrid nature of transformer and diffusion heads. This is part of the reason why insights from mechanistic interpretability in LLMs, which explain how the internal model representations relate to their output behavior, do not trivially transfer to VLA counterparts. In this work, we propose to close this gap by introducing and analyzing two main concepts: feature-observability and feature-controllability. In particular, we first study features that are linearly encoded in representation space, and show how they can be observed by means of a linear classifier. Then, we use a minimal linear intervention grounded in optimal control to accurately place internal representations and steer the VLA's output towards a desired region. Our results show that targeted, lightweight interventions can reliably steer a robot's behavior while preserving closed-loop capabilities. We demonstrate on different VLA architectures ($π_{0.5}$ and OpenVLA) through simulation experiments that VLAs possess interpretable internal structure amenable to online adaptation without fine-tuning, enabling real-time alignment with user preferences and task requirements.
• Abstract（参考訳）: VLA(Vision-Language-Action Models)は、インボディードインテリジェンスに対する顕著な進歩を示している。 アーキテクチャはLarge Language Models (LLM) に似ているが、VLAはマルチモーダル入力/出力とトランスフォーマーと拡散ヘッドのハイブリッドな性質のため、より複雑である。 LLMにおける機械的解釈可能性からの洞察が、内部モデル表現が出力の振る舞いとどのように関連しているかを説明するために、VLAに自明に転送しない理由の一部である。 本研究では,特徴可観測性と特徴可制御性という2つの主要な概念を導入し,分析することによって,このギャップを埋めることを提案する。 特に,表現空間に線形符号化された特徴を最初に研究し,線形分類器を用いてそれらがどのように観測できるかを示す。 次に、最適制御に基づく最小限の線形介入を用いて、内部表現を正確に配置し、VLAの出力を所望の領域に向けて制御する。 この結果から,ロボットの動作を確実に制御し,クローズドループ機能を保ちながら,目標とする軽量な介入を行うことが可能であることが示唆された。 我々は、VLAが微調整なしでオンライン適応可能な解釈可能な内部構造を持ち、ユーザの好みやタスク要求とリアルタイムに一致させることができるシミュレーション実験を通じて、異なるVLAアーキテクチャ(π_{0.5}$およびOpenVLA)を実証する。

関連論文リスト

• DiMaS: Distribution Matching for Steering Vision-Language-Action Models [41.9662194189542]
  フローマッチング視覚言語アクション(VLA)モデルは、ロボット操作の強力なポリシーとして登場した。 行動制御は、ロボットが内部表現に介入してタスクを実行する方法を管理する能力である。 本稿では,フローマッチングVLAに適した分散マッチングステアリング戦略であるDiMaSを提案する。
  論文  参考訳（メタデータ） (2026-07-15T18:39:13Z)
• Decoupling the Declarative from the Procedural in Vision-Language-Action Models [65.22639791239932]
  オブジェクト固有のデモから振る舞いをクローンするように訓練されたポリシーは、そのオブジェクトを超えて一般化されなければならない。 情報フローを再構成した新しいビジョン・ランゲージ・アクションモデルであるw$2$VLAを提案する。 最先端のVLAとは異なり、我々のモジュラーアプローチは知識表現の分離に成功している。
  論文  参考訳（メタデータ） (2026-06-19T14:43:58Z)
• QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
  VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。 VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。 提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
  論文  参考訳（メタデータ） (2026-05-24T06:28:53Z)
• GuidedVLA: Specifying Task-Relevant Factors via Plug-and-Play Action Attention Specialization [101.37117235471709]
  本稿では,タスク関連要因に着目したアクション生成を支援するフレームワークである GuidedVLA を紹介する。 私たちの中核的な洞察は、アクションデコーダをモノリシックな学習者としてではなく、機能的なコンポーネントの集合として扱うことです。 この結果から,アクションデコーダ学習を明示的に指導することが,より堅牢で汎用的なVLAモデルを構築する上で有望な方向であることが示唆された。
  論文  参考訳（メタデータ） (2026-05-12T16:38:40Z)
• OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models [69.2503510410147]
  予め訓練されたVLM上に構築した統合自動運転フレームワークを提案する。 トレーニング済みのVLMアテンションは、純粋言語モデリング以上の強い伝達性を示すことを示す。 エンドツーエンドの自動運転ベンチマークの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-04-20T07:50:00Z)
• On Integrating Resilience and Human Oversight into LLM-Assisted Modeling Workflows for Digital Twins [0.0]
  ディジタルツインにレジリエンスと監視を統合するための重要な設計原則を3つ提示する。 重要な貢献は、様々な詳細と複雑さのモデル記述にまたがるLCMによるエラーの詳細な評価である。
  論文  参考訳（メタデータ） (2026-03-26T20:38:03Z)
• Linear Mechanisms for Spatiotemporal Reasoning in Vision Language Models [16.73630874846666]
  視覚言語モデル(VLM)のある時点で空間構造の視覚的・幾何学的・テキスト的表現を組み合わせなければならない 本稿では,VLMがオブジェクト位置をテキストのアクティベーションに線形に結合し,言語トークンによる推論を行うことにより,オブジェクト位置を符号化することを示す。 解析をビデオVLMに拡張し、類似の線形時間ID機構を同定する。
  論文  参考訳（メタデータ） (2026-01-18T23:48:38Z)
• Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future [125.92052530850425]
  VLA(Vision-Language-Action)フレームワークは、認識と言語に基づく意思決定を統合する。 VLAフレームワークは、より解釈可能で、一般化可能で、人間に準拠した運転ポリシーへの道筋を提供する。 この研究は、人間と互換性のある自動運転システムを構築するための一貫性のある基盤を確立することを目的としている。
  論文  参考訳（メタデータ） (2025-12-18T16:57:44Z)
• Mechanistic interpretability for steering vision-language-action models [0.23371356738437823]
  VLA(Vision-Language-Action)モデルは、一般のエンボディエージェントを実現するための有望な道である。 本稿では,VLAを内部表現で解釈し,操作するための最初のフレームワークを紹介する。 我々は、微調整、報酬信号、環境相互作用を伴わずに、リアルタイムに行動を調整する汎用的なアクティベーションステアリング手法を提案する。
  論文  参考訳（メタデータ） (2025-08-30T03:01:57Z)
• SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [70.72227437717467]
  VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。 計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。 本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:04:17Z)
• How Visual Representations Map to Language Feature Space in Multimodal LLMs [9.880509106657009]
  視覚言語モデル(VLM)が視覚および言語表現のアライメントを実現するメカニズムについて検討する。 言語モデルを凍結させることにより、視覚データに適応することなく、元の言語表現を確実に維持する。 視覚表現が言語特徴表現と徐々に整合し、中から後期の層に収束する階層的進行を明らかにする。
  論文  参考訳（メタデータ） (2025-06-13T17:34:05Z)
• Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models [50.587868616659826]
  視覚表現におけるニューロンレベルでの単意味性を評価するための包括的枠組みを提案する。 実験の結果,視覚言語モデルで訓練したSAEは個々のニューロンの単意味性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-04-03T17:58:35Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• Integrating Frequency-Domain Representations with Low-Rank Adaptation in Vision-Language Models [0.6715525121432597]
  本研究では,特徴抽出,拡張性,効率性を向上する新しい視覚言語モデル(VLM)フレームワークを提案する。 ガウス雑音のレベルが異なるベンチマークデータセットを用いて,キャプション生成モデルと視覚質問応答(VQA)タスクの評価を行った。 我々のモデルは、特に無人地上車両(UGV)に搭載されたRealSenseカメラで捉えた現実世界のイメージに対して、より詳細で文脈的に関係のある応答を提供する。
  論文  参考訳（メタデータ） (2025-03-08T01:22:10Z)
• PEVL: Position-enhanced Pre-training and Prompt Tuning for Vision-language Models [127.17675443137064]
  PEVLを導入し、明示的なオブジェクト位置モデリングによる視覚言語モデルの事前学習と迅速なチューニングを促進する。 PEVLは、統一言語モデリングフレームワークにおいて、離散化されたオブジェクトの位置と言語を再構成する。 PEVLは,表現理解や句の接頭など,位置感性のあるタスクに対して,最先端のパフォーマンスを実現することができることを示す。
  論文  参考訳（メタデータ） (2022-05-23T10:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。