論文の概要: Event-Grounded Sparse Autoencoders for Vision-Language-Action Policies

• arxiv url: http://arxiv.org/abs/2605.17204v1
• Date: Sun, 17 May 2026 00:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.734162
• Title: Event-Grounded Sparse Autoencoders for Vision-Language-Action Policies
• Title（参考訳）: イベント・グラウンド・スパース・オートエンコーダによるビジョン・ランゲージ・アクション・ポリシー
• Authors: Xinchen Jin, Aditya Chatterjee, Pranav Kumar, Rohan Paleja,
• Abstract要約: 本研究では,SAE特徴解析をテキストコンテキストではなく行動イベントにアンカーする,イベントグラウンドの解釈可能性パイプラインを提案する。 我々のパイプラインは、クローズドループの挙動イベントにおいて、SAEベースのVLA分析を基礎とした最初のものの一つである。 全体として、事象基底SAE分析は、行動適応型VLA解釈の実践的な出発点として現れる。
• 参考スコア（独自算出の注目度）: 0.6999740786886536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) policies translate language and visual inputs into robot actions, where their hidden representations directly shape closed-loop behavior. However, mechanistic interpretability tools from language and vision-language models do not transfer cleanly to VLAs: outputs are robot actions rather than human-readable tokens, and interventions can only be tested via expensive closed-loop rollouts. We propose an event-grounded interpretability pipeline that anchors SAE feature analysis to behavioral events rather than text contexts. End-effector keyframes are clustered within each task using visual, state, and temporal cues, linking SAE features to behaviorally salient events and, via optional VLM annotations, to semantic context. To our knowledge, our pipeline is among the first to ground SAE-based VLA analysis in closed-loop behavioral events. Across two simulation architectures and a real-robot study, event-grounded ranking yields the strongest causal effects on OpenVLA and transfers to the continuous action chunks of $π_{0.5}$. SAE is a sparse but imperfect intervention basis: usability varies with architecture and intervention site, and aggressive intervention reveals safety and interpretability limits. Overall, event-grounded SAE analysis emerges as a practical starting point for behavior-anchored VLA interpretability, motivating future work on SAE features beyond action-aligned coordinates, finer-grained closed-loop evaluation, and safe interventions for high-stakes VLA deployments. Code is available at \url{https://github.com/xc-j/Event-SAE}.
• Abstract（参考訳）: VLA(Vision-Language-Action)ポリシーは、言語と視覚入力をロボットアクションに変換する。 しかしながら、言語や視覚言語モデルからの機械的解釈可能性ツールは、VLAにクリーンに転送されない:アウトプットは、人間が読めるトークンではなくロボットアクションであり、介入は高価なクローズドループロールアウトによってのみテストできる。 本研究では,SAE特徴解析をテキストコンテキストではなく行動イベントにアンカーする,イベントグラウンドの解釈可能性パイプラインを提案する。 エンドエフェクタキーフレームは、視覚的、状態的、時間的キューを使用して各タスク内にクラスタ化され、SAE機能を行動的に適切なイベントにリンクし、オプションのVLMアノテーションを介してセマンティックコンテキストにリンクする。 我々の知る限り、当社のパイプラインは、クローズドループの動作イベントにおいて、SAEベースのVLA分析を基礎とした最初のもののひとつです。 2つのシミュレーションアーキテクチャと実ロボットの研究で、イベントグラウンドのランク付けはOpenVLAに最も強い因果効果をもたらし、π_{0.5}$の連続的な作用チャンクに遷移する。 ユーザビリティはアーキテクチャや介入サイトによって異なり、積極的な介入は安全性と解釈可能性の限界を明らかにする。 全体として、イベントグラウンドのSAE分析は、行動適応型VLA解釈の実践的な出発点として現れ、行動整列座標を超えたSAE機能の今後の取り組み、よりきめ細かいクローズドループ評価、高吸気VLAデプロイメントのための安全な介入を動機付けている。 コードは \url{https://github.com/xc-j/Event-SAE} で入手できる。

関連論文リスト

• Guide, Think, Act: Interactive Embodied Reasoning in Vision-Language-Action Models [15.486973209713954]
  GTA-VLA(Guide, Think, Act)はインタラクティブなビジョンランゲージ・アクション・フレームワークである。 ユーザがロボットポリシーを明示的な視覚的手がかりでガイドできるようにすることで、空間的に操作可能な具体的推論を可能にする。
  論文  参考訳（メタデータ） (2026-05-13T14:58:29Z)
• OFlow: Injecting Object-Aware Temporal Flow Matching for Robust Robotic Manipulation [55.56490813640669]
  VLAモデルは典型的には現在のフレームにのみ作用するが、将来の予測とオブジェクト認識推論は別々の潜在空間でしばしば学習される。 本稿では,時間的フォアシークエンスとオブジェクト認識推論を共通化することで,制約に対処するフレームワークOFlowを提案する。 提案手法は, 時間的フローマッチングを用いて将来の潜伏者を予測し, 物理的に関係のある手がかりを強調するオブジェクト認識表現に分解する。
  論文  参考訳（メタデータ） (2026-04-20T06:38:01Z)
• See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
  本稿では,See, Plan, Rewind (SPR)について紹介する。 SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。 SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
  論文  参考訳（メタデータ） (2026-03-10T07:22:51Z)
• SAMoE-VLA: A Scene Adaptive Mixture-of-Experts Vision-Language-Action Model for Autonomous Driving [10.980525810871827]
  本稿では,シーン適応型視覚ランゲージ・アクション・フレームワークであるSAMoE-VLAを提案する。 私たちのキーとなるアイデアは、交通シーンのコンテキストをカプセル化した鳥眼視(BEV)機能からMoEルーティング信号を導き出すことです。 本研究では,世界認知,知覚,言語,行動の時間的一貫した推論を支援するために,条件付きクロスモーダル因果注意機構を導入する。
  論文  参考訳（メタデータ） (2026-03-09T08:54:03Z)
• Observing and Controlling Features in Vision-Language-Action Models [20.193036403223903]
  VLA(Vision-Language-Action Models)は、インボディードインテリジェンスに対する顕著な進歩を示している。 機能可観測性と機能可制御性という,2つの主要な概念を紹介し,分析する。 この結果から,ロボットの動作を確実に制御する,目標とする軽量な介入が可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-03-05T18:53:50Z)
• SemanticVLA: Semantic-Aligned Sparsification and Enhancement for Efficient Robotic Manipulation [65.6201974979119]
  本稿では,効率的なロボットマニピュレーションのためのセマンティックスペーシフィケーション・エンハンスメントを実現する新しいVLAフレームワークSemanticVLAを提案する。 SemanticVLAはOpenVLA on LIBEROベンチマークを21.1%上回り、トレーニングコストと推論遅延を3.0倍と2.7倍に削減した。
  論文  参考訳（メタデータ） (2025-11-13T17:24:37Z)
• PSALM-V: Automating Symbolic Planning in Interactive Visual Environments with Large Language Models [22.688086293676328]
  視覚環境における象徴的行動意味論(プレコンディションとポストコンディション)を誘導できる最初の自律型ニューロシンボリック学習システムPSALM-Vを提案する。 PSALM-Vは、専門家のアクション定義なしで信頼できるシンボリックプランニングを行い、LSMを使って計画と候補シンボリックセマンティクスを生成する。
  論文  参考訳（メタデータ） (2025-06-25T02:44:20Z)
• LANGTRAJ: Diffusion Model and Dataset for Language-Conditioned Trajectory Simulation [102.1527101235251]
  LangTrajは、トラフィックシナリオにおけるすべてのエージェントの共同動作をシミュレートする、言語条件のシーン拡散モデルである。 自然言語入力を条件付けすることで、LangTrajはインタラクティブな振る舞いを柔軟かつ直感的に制御できる。 LangTraj氏は、リアリズム、言語制御性、言語条件の安全クリティカルなシミュレーションにおいて、強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-04-15T17:14:06Z)
• HybridVLA: Collaborative Diffusion and Autoregression in a Unified Vision-Language-Action Model [54.64088247291416]
  操作ポリシー設計の基本的な目的は、ロボットに人間の指示を理解し、シーンの手がかりを推論し、動的な環境で一般化されたアクションを実行することである。 近年の自己回帰的視覚言語行動(VLA)法は、視覚言語モデル(VLM)から常識推論能力を継承し、次の行動予測を行う。 拡散に基づく行動の連続的な性質と自己回帰の文脈的推論を吸収する統合フレームワークであるHybridVLAを紹介する。
  論文  参考訳（メタデータ） (2025-03-13T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。