論文の概要: Sparse Autoencoders Reveal Interpretable and Steerable Features in VLA Models

• arxiv url: http://arxiv.org/abs/2603.19183v1
• Date: Thu, 19 Mar 2026 17:42:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-21 18:33:57.000057
• Title: Sparse Autoencoders Reveal Interpretable and Steerable Features in VLA Models
• Title（参考訳）: VLAモデルにおけるスパースオートエンコーダの解釈と安定性
• Abstract要約: VLA(Vision-Language-Action)モデルが汎用ロボット操作のための有望なアプローチとして登場した。 VLAモデルの内部動作をよりよく理解するために,機械的解釈可能性技術を適用した。 本研究では,個々のSAEがロボット行動に因果的に影響を及ぼすことを示す。
• 参考スコア（独自算出の注目度）: 7.1750939299528795
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision-Language-Action (VLA) models have emerged as a promising approach for general-purpose robot manipulation. However, their generalization is inconsistent: while these models can perform impressively in some settings, fine-tuned variants often fail on novel objects, scenes, and instructions. We apply mechanistic interpretability techniques to better understand the inner workings of VLA models. To probe internal representations, we train Sparse Autoencoders (SAEs) on hidden layer activations of the VLA. SAEs learn a sparse dictionary whose features act as a compact, interpretable basis for the model's computation. We find that the large majority of extracted SAE features correspond to memorized sequences from specific training demonstrations. However, some features correspond to interpretable, general, and steerable motion primitives and semantic properties, offering a promising glimpse toward VLA generalizability. We propose a metric to categorize features according to whether they represent generalizable transferable primitives or episode-specific memorization. We validate these findings through steering experiments on the LIBERO benchmark. We show that individual SAE features causally influence robot behavior. Steering general features induces behaviors consistent with their semantic meaning and can be applied across tasks and scenes. This work provides the first mechanistic evidence that VLAs can learn generalizable features across tasks and scenes. We observe that supervised fine-tuning on small robotics datasets disproportionately amplifies memorization. In contrast, training on larger, more diverse datasets (e.g., DROID) or using knowledge insulation promotes more general features. We provide an open-source codebase and user-friendly interface for activation collection, SAE training, and feature steering. Our project page is located at http://drvla.github.io
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルが汎用ロボット操作のための有望なアプローチとして登場した。 しかし、それらの一般化は矛盾するものであり、これらのモデルはいくつかの設定で驚くべき性能を発揮するが、微調整された変種は、しばしば新しいオブジェクト、シーン、命令で失敗する。 VLAモデルの内部動作をよりよく理解するために,機械的解釈可能性技術を適用した。 内部表現を探索するために、VLAの隠された層活性化に対してスパースオートエンコーダ(SAE)を訓練する。 SAEは、モデル計算のコンパクトで解釈可能な基盤として機能するスパース辞書を学ぶ。 その結果,抽出されたSAE特徴の大部分は,特定の訓練実験の暗記シーケンスに対応していることがわかった。 しかしながら、いくつかの特徴は解釈可能で、汎用的で、ステアブルなモーションプリミティブとセマンティックな性質に対応しており、VLAの一般化に向けて有望な予感を与えている。 一般化可能な転送可能なプリミティブを表すか、エピソード固有の記憶を表すかに応じて特徴を分類する指標を提案する。 LIBEROベンチマークのステアリング実験により,これらの知見を検証した。 本研究では,個々のSAEがロボット行動に因果的に影響を及ぼすことを示す。 ステアリングの一般的な特徴は、その意味的な意味と一致した振る舞いを誘導し、タスクやシーンにまたがって適用することができる。 この研究は、VLAがタスクやシーンにまたがって一般化可能な特徴を学習できるという最初の力学的な証拠を提供する。 小型ロボティクスデータセットの教師付き微調整が暗記を不当に増幅するのを観察する。 対照的に、より大きく多様なデータセット(例えば、DROID)のトレーニングや知識絶縁の使用は、より一般的な特徴を促進する。 私たちはオープンソースのコードベースと、アクティベーションコレクション、SAEトレーニング、機能ステアリングのためのユーザフレンドリーなインターフェースを提供しています。 私たちのプロジェクトページはhttp://drvla.github.ioにあります。

関連論文リスト

• DiMaS: Distribution Matching for Steering Vision-Language-Action Models [41.9662194189542]
  フローマッチング視覚言語アクション(VLA)モデルは、ロボット操作の強力なポリシーとして登場した。 行動制御は、ロボットが内部表現に介入してタスクを実行する方法を管理する能力である。 本稿では,フローマッチングVLAに適した分散マッチングステアリング戦略であるDiMaSを提案する。
  論文  参考訳（メタデータ） (2026-07-15T18:39:13Z)
• Decoupling the Declarative from the Procedural in Vision-Language-Action Models [65.22639791239932]
  オブジェクト固有のデモから振る舞いをクローンするように訓練されたポリシーは、そのオブジェクトを超えて一般化されなければならない。 情報フローを再構成した新しいビジョン・ランゲージ・アクションモデルであるw$2$VLAを提案する。 最先端のVLAとは異なり、我々のモジュラーアプローチは知識表現の分離に成功している。
  論文  参考訳（メタデータ） (2026-06-19T14:43:58Z)
• QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
  VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。 VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。 提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
  論文  参考訳（メタデータ） (2026-05-24T06:28:53Z)
• From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
  人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。 この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。 この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
  論文  参考訳（メタデータ） (2026-05-18T06:19:16Z)
• GuidedVLA: Specifying Task-Relevant Factors via Plug-and-Play Action Attention Specialization [101.37117235471709]
  本稿では,タスク関連要因に着目したアクション生成を支援するフレームワークである GuidedVLA を紹介する。 私たちの中核的な洞察は、アクションデコーダをモノリシックな学習者としてではなく、機能的なコンポーネントの集合として扱うことです。 この結果から,アクションデコーダ学習を明示的に指導することが,より堅牢で汎用的なVLAモデルを構築する上で有望な方向であることが示唆された。
  論文  参考訳（メタデータ） (2026-05-12T16:38:40Z)
• Observing and Controlling Features in Vision-Language-Action Models [20.193036403223903]
  VLA(Vision-Language-Action Models)は、インボディードインテリジェンスに対する顕著な進歩を示している。 機能可観測性と機能可制御性という,2つの主要な概念を紹介し,分析する。 この結果から,ロボットの動作を確実に制御する,目標とする軽量な介入が可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-03-05T18:53:50Z)
• UAOR: Uncertainty-aware Observation Reinjection for Vision-Language-Action Models [25.401818528256232]
  Uncertainty-Aware Observation Reinjection (UAOR) は、Vision-Language-Action (VLA) モデルのための、効果的で、トレーニングのない、プラグアンドプレイモジュールである。 シミュレーションや実世界のタスクにおいて,オーバーヘッドを最小限に抑えながら多様なVLAモデルを継続的に改善する。
  論文  参考訳（メタデータ） (2026-02-20T06:22:21Z)
• UniVLA: Learning to Act Anywhere with Task-centric Latent Actions [34.42046035740954]
  UniVLAは、クロス・エボディメント・ビジョン・ランゲージ・アクション(VLA)ポリシーを学ぶための新しいフレームワークである。 我々は、潜在アクションモデルを用いたビデオからタスク中心のアクション表現を導出する。 複数の操作やナビゲーションのベンチマーク、実際のロボットの配置など、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-05-09T15:11:13Z)
• OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction [95.6266030753644]
  Vision-Language-Action(VLA)モデルは、視覚的な観察と言語指示に基づいてロボット行動を予測することを目的としている。 既存のアプローチでは、視覚的特徴と言語的特徴が独立して下流ポリシーに供給されるため、微調整済みの視覚言語モデル(VLM)が必要である。 本稿では,テキスト認識による視覚的特徴抽出によって既存のアライメントを活用する新しいVLAアーキテクチャOTTERを提案する。
  論文  参考訳（メタデータ） (2025-03-05T18:44:48Z)
• Latent Action Pretraining from Videos [156.88613023078778]
  一般行動モデル(LAPA)のための潜在行動事前訓練について紹介する。 LAPA(英: LAPA)は、VLA(Vision-Language-Action)モデルに接地型ロボットアクションラベルを含まない教師なしの訓練方法である。 本稿では,ロボットアクションラベルを持たないインターネット規模のビデオから学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T16:28:09Z)
• Visual Affordance Prediction for Guiding Robot Exploration [56.17795036091848]
  我々は,ロボット探索を導くための視覚能力の学習手法を開発した。 VQ-VAEの潜伏埋め込み空間における条件分布の学習にはTransformerベースのモデルを用いる。 本稿では,ロボット操作における視覚的目標条件付きポリシー学習において,目標サンプリング分布として機能することで探索を導くために,トレーニングされた余裕モデルをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2023-05-28T17:53:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。