論文の概要: Mechanistic interpretability for steering vision-language-action models

• arxiv url: http://arxiv.org/abs/2509.00328v1
• Date: Sat, 30 Aug 2025 03:01:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.17957
• Title: Mechanistic interpretability for steering vision-language-action models
• Title（参考訳）: 操舵視覚言語モデルに対する機械論的解釈可能性
• Authors: Bear Häon, Kaylene Stocking, Ian Chuang, Claire Tomlin,
• Abstract要約: VLA(Vision-Language-Action)モデルは、一般のエンボディエージェントを実現するための有望な道である。 本稿では,VLAを内部表現で解釈し,操作するための最初のフレームワークを紹介する。 我々は、微調整、報酬信号、環境相互作用を伴わずに、リアルタイムに行動を調整する汎用的なアクティベーションステアリング手法を提案する。
• 参考スコア（独自算出の注目度）: 0.23371356738437823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action (VLA) models are a promising path to realizing generalist embodied agents that can quickly adapt to new tasks, modalities, and environments. However, methods for interpreting and steering VLAs fall far short of classical robotics pipelines, which are grounded in explicit models of kinematics, dynamics, and control. This lack of mechanistic insight is a central challenge for deploying learned policies in real-world robotics, where robustness and explainability are critical. Motivated by advances in mechanistic interpretability for large language models, we introduce the first framework for interpreting and steering VLAs via their internal representations, enabling direct intervention in model behavior at inference time. We project feedforward activations within transformer layers onto the token embedding basis, identifying sparse semantic directions - such as speed and direction - that are causally linked to action selection. Leveraging these findings, we introduce a general-purpose activation steering method that modulates behavior in real time, without fine-tuning, reward signals, or environment interaction. We evaluate this method on two recent open-source VLAs, Pi0 and OpenVLA, and demonstrate zero-shot behavioral control in simulation (LIBERO) and on a physical robot (UR5). This work demonstrates that interpretable components of embodied VLAs can be systematically harnessed for control - establishing a new paradigm for transparent and steerable foundation models in robotics.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、新しいタスク、モダリティ、環境に迅速に適応できる汎用的なエンボディエージェントを実現するための、有望な道である。 しかしながら、VLAの解釈とステアリングの方法は、運動学、力学、制御の明示的なモデルに基づく古典的なロボティクスパイプラインには程遠い。 この機械的洞察の欠如は、堅牢性と説明可能性が不可欠である現実世界のロボット工学において、学習したポリシーをデプロイする上で、中心的な課題である。 大規模言語モデルの機械的解釈可能性の向上を動機として,VLAを内部表現で解釈・操舵するための最初のフレームワークを導入し,推論時のモデル動作への直接的介入を可能にする。 我々はトランスフォーマー層内のフィードフォワードアクティベーションをトークン埋め込みベースに投影し、アクション選択に因果関係のあるスパースなセマンティックな方向(速度や方向など)を特定する。 これらの知見を生かして、微調整、報酬信号、環境相互作用を伴わずに、リアルタイムに行動を調整する汎用的なアクティベーションステアリング手法を提案する。 この手法を最近の2つのオープンソースVLA、Pi0とOpenVLAで評価し、シミュレーション(LIBERO)と物理ロボット(UR5)でゼロショット動作制御を実証する。 この研究は、ロボット工学における透明でステアブルな基礎モデルのための新しいパラダイムを確立することで、組み込まれたVLAの解釈可能なコンポーネントを体系的に制御するために活用できることを実証している。

関連論文リスト

• Constrained Decoding for Robotics Foundation Models [13.414495236464488]
  ロボット基礎モデルの開発における最近の進歩は、ロボットシステムにおけるエンド・ツー・エンドおよび汎用能力の有望な発展につながっている。 本稿では,動的システムにおける動作トラジェック・トーリーの論理的制約を強制する,ロボット基礎モデルのための制約付き復号化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-01T19:17:40Z)
• Phoenix: A Motion-based Self-Reflection Framework for Fine-grained Robotic Action Correction [10.38090975412416]
  ロボットが障害から回復するためには、一般化可能な自己補正システムの構築が不可欠である。 我々は,高レベルな意味的反射と低レベルなロボット動作補正を接続するブリッジとして動作指示を利用するPhoenixフレームワークを構築した。 RoboMimicシミュレーションと実世界のシナリオの両方で実施された実験は、我々のフレームワークのより優れた一般化とロバスト性を証明する。
  論文  参考訳（メタデータ） (2025-04-20T12:30:43Z)
• LANGTRAJ: Diffusion Model and Dataset for Language-Conditioned Trajectory Simulation [94.84458417662404]
  LangTrajは、トラフィックシナリオにおけるすべてのエージェントの共同動作をシミュレートする、言語条件のシーン拡散モデルである。 自然言語入力を条件付けすることで、LangTrajはインタラクティブな振る舞いを柔軟かつ直感的に制御できる。 LangTraj氏は、リアリズム、言語制御性、言語条件の安全クリティカルなシミュレーションにおいて、強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-04-15T17:14:06Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• GEVRM: Goal-Expressive Video Generation Model For Robust Visual Manipulation [22.968763141077375]
  本稿では,ロボットの視覚操作の堅牢性を高めるために,新しい閉ループ視覚言語アクション(VLA)法を提案する。 GEVRMのテキスト誘導ビデオ生成モデルは、表現力の高い将来の視覚計画目標を生成することができる。 GEVRMは、標準ベンチマークとCALVINベンチマークの両方で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-02-13T12:29:50Z)
• Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
  学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。 視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。 ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
  論文  参考訳（メタデータ） (2024-07-11T17:31:01Z)
• Exploring Latent Pathways: Enhancing the Interpretability of Autonomous Driving with a Variational Autoencoder [79.70947339175572]
  バイオインスパイアされたニューラルサーキットポリシーモデルが革新的な制御モジュールとして登場した。 我々は、変分オートエンコーダとニューラルネットワークポリシーコントローラを統合することで、飛躍的に前進する。 本研究は,変分オートエンコーダへのアーキテクチャシフトに加えて,自動潜時摂動ツールを導入する。
  論文  参考訳（メタデータ） (2024-04-02T09:05:47Z)
• Interactive Character Control with Auto-Regressive Motion Diffusion Models [18.727066177880708]
  リアルタイム動作合成のためのA-MDM(Auto-Regressive Motion Diffusion Model)を提案する。 我々の条件拡散モデルは初期ポーズを入力とし、前者のフレームに条件付けられた連続した動きフレームを自動回帰的に生成する。 本稿では,タスク指向サンプリング,インペインティング,階層的強化学習など,対話型制御をA-MDMに組み込む一連の手法を紹介する。
  論文  参考訳（メタデータ） (2023-06-01T07:48:34Z)
• An Adaptable Approach to Learn Realistic Legged Locomotion without Examples [38.81854337592694]
  本研究は,バネ装荷逆振り子モデルを用いて学習プロセスを導くことで,移動における現実性を保証するための汎用的アプローチを提案する。 モデルのない設定であっても、2足歩行ロボットと4足歩行ロボットに対して、学習したポリシーが現実的でエネルギー効率のよい移動歩行を生成できることを示す実験結果を示す。
  論文  参考訳（メタデータ） (2021-10-28T10:14:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。