論文の概要: LayerRoute: Action-Conditioned Mixture-of-Layers Routing for Vision-Language-Action Policies
- arxiv url: http://arxiv.org/abs/2609.06079v1
- Date: Sat, 05 Sep 2026 13:13:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.191284
- Title: LayerRoute: Action-Conditioned Mixture-of-Layers Routing for Vision-Language-Action Policies
- Title（参考訳）: LayerRoute:ビジョン・ランゲージ・アクション・ポリシーのためのアクション・コンディションド・ミックス・オブ・レイア・ルーティング
- Abstract要約: VLA(Vision-Language-Action)ポリシは、事前訓練された視覚言語計算モデル(VLM)を利用して、ロボット制御のためのアクション生成をガイドする。
動作条件付き表現ルーティングインタフェースであるLayerRouteを導入し、VLM層やアクション表現への適応的なアクセスを可能にする。
- 参考スコア（独自算出の注目度）: 13.829774140685545
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) policies leverage pretrained vision-language models (VLMs) to guide action generation for robot control. VLMs provide hierarchical visual-semantic representations that evolve across layers, from local visual geometry to abstract, language-aligned semantics; different manipulation tasks may therefore require different mixtures of layer representations. Meanwhile, the action module maintains intermediate representations that evolve throughout action computation and may provide useful information for subsequent decisions. However, existing VLA interfaces offer limited flexibility in representation access: VLM information is exposed through fixed layer assignments for each action layer, while intermediate action states are only propagated implicitly through residual streams without explicit reuse. We introduce LayerRoute, an action-conditioned representation routing interface that enables adaptive access to VLM layers and action representations. The Layer Mixture Router dynamically forms mixtures of cached VLM representations, while Action-State Reread reuses earlier action representations. Across diverse simulation and real-world benchmarks, LayerRoute consistently improves StarVLA-$π$ and $π_{0.5}$, achieving up to 7.2 gains on LIBERO Long with only 0.31% / 3.87% additional parameters. Ablation studies validate the benefit of action-conditioned layer routing, while routing analyses reveal structured allocation patterns across action layers and task settings.
- Abstract（参考訳）: VLA(Vision-Language-Action)ポリシーは、事前訓練された視覚言語モデル(VLM)を利用して、ロボット制御のためのアクション生成をガイドする。
VLMは、局所的な視覚幾何学から抽象的な言語対応のセマンティクスまで、階層的な視覚意味表現を提供する。
一方、アクションモジュールは、アクション計算全体を通して進化する中間表現を保持し、その後の決定に有用な情報を提供する。
しかし、既存のVLAインタフェースは表現アクセスの柔軟性が限られており、VLM情報は各アクション層に対する固定層割り当てによって公開され、中間アクション状態は明示的な再利用なしに残留ストリームを通して暗黙的にのみ伝搬される。
動作条件付き表現ルーティングインタフェースであるLayerRouteを導入し、VLM層やアクション表現への適応的なアクセスを可能にする。
Layer Mixture RouterはキャッシュされたVLM表現の混合を動的に生成し、Action-State Rereadは以前のアクション表現を再利用する。
様々なシミュレーションと実世界のベンチマークにより、LayerRouteは一貫してStarVLA-$π$と$π_{0.5}$を改良し、LIBERO Long上で0.31%/3.87%の追加パラメータで最大7.2ゲインを達成する。
アブレーション研究は、アクション条件付きレイヤルーティングの利点を検証する一方で、ルーティング分析は、アクション層とタスク設定の間で構造化されたアロケーションパターンを明らかにする。
関連論文リスト
- LIRA: Local Cross-Layer Information Routing for Vision-Language-Action Decoding [22.722295179202604]
Vision-Language-Action (VLA)モデルは、事前訓練された視覚言語モデル(VLM)からロボットアクションに変換する。
既存の設計では、表現階層の狭い部分のみを公開するか、それぞれのデコーダブロックを1つのVLM層に厳密にマッチさせる。
我々は、深度情報ルーティングとしてVLM-to-action条件を定式化するローカルなクロスレイヤアクションコンディショニング機構であるLIRAを紹介する。
論文 参考訳（メタデータ） (2026-08-06T08:12:32Z) - ActionMap: Robot Policy Learning via Voxel Action Heatmap [61.10410508218428]
ActionMapは、ネイティブアクションデコーダの代わりに既存のVLAにドロップする。
Heatmapヘッドは、マッチしたトレーニングステップで、2つのアーキテクチャ的に異なるバックボーンを越えます。
クロスバックボーン一貫性は、アクション表現がVLAパフォーマンスの真のレバーであることを示している。
論文 参考訳（メタデータ） (2026-06-05T04:42:56Z) - AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。
AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2026-06-04T13:28:51Z) - Visual Instruction Tuning Aligns Modalities through Abstraction [7.963871750032694]
命令チューニングがブリッジとして機能し,視覚的特徴を大言語モデルの中間的意味層に直接埋め込むことを示す。
これらの中間層は、視覚言語処理のセマンティックコアであり、幅広いマルチモーダルベンチマークの性能において重要な役割を担っていることを示す。
論文 参考訳（メタデータ） (2026-06-02T16:42:21Z) - Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance [108.46436073194546]
効果的なプランニングは、ローカルで、視覚的に基礎があり、内部で生成され、アクションと直接整合するべきである、と私たちは主張する。
本稿では,タスク条件付きアベイランスをVLAモデル内で明示的な視覚的計画インターフェースとして内包する統合フレームワークであるAfford-VLAを提案する。
論文 参考訳（メタデータ） (2026-05-22T20:43:47Z) - AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。
本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
論文 参考訳（メタデータ） (2026-03-18T12:43:47Z) - Do All Individual Layers Help? An Empirical Study of Task-Interfering Layers in Vision-Language Models [51.754991950934375]
事前トレーニングされたVLMでは、すべてのレイヤがデフォルトで実行され、下流タスクで予測される。
パラメータをゼロにすることで、ひとつの層にインターベンションすることで、特定のタスクのパフォーマンスを向上させることができる。
与えられたタスクに対して最も干渉するレイヤを動的に識別し、バイパスする、トレーニング不要なテスト時間適応手法であるTaLoを提案する。
論文 参考訳（メタデータ） (2026-02-01T11:37:05Z) - From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。
CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
論文 参考訳（メタデータ） (2026-01-15T18:59:10Z) - Semore: VLM-guided Enhanced Semantic Motion Representations for Visual Reinforcement Learning [11.901989132359676]
視覚強化学習(RL)のための新しいVLMベースのフレームワークである強化セマンティックモーション表現(Semore)を導入する。
セモアはRGBフローからデュアルパスバックボーンを通じてセマンティックとモーションの表現を同時に抽出する。
本手法は, 最先端の手法と比較して, 効率的かつ適応的な能力を示す。
論文 参考訳（メタデータ） (2025-12-04T16:54:41Z) - How Multimodal LLMs Solve Image Tasks: A Lens on Visual Grounding, Task Reasoning, and Answer Decoding [39.342366994703376]
MLLMが階層間の視覚的およびテキスト的入力をどのように処理するかを分析するための探索フレームワークを導入する。
ステージ単位の構造は、視覚的トークン化、命令チューニングデータ、事前学習コーパスの様々なバリエーションで安定しているが、各ステージシフトごとに特定の層が割り当てられることが示される。
論文 参考訳（メタデータ） (2025-08-27T21:22:01Z) - Dynamic Embedding of Hierarchical Visual Features for Efficient Vision-Language Fine-Tuning [5.85033069870214]
動的埋め込みと階層型視覚特徴の融合に基づく効率的な視覚言語微調整法を提案する。
少数のパラメータのみを微調整することで、DEHVFはクロスモーダル情報の正確なアライメントと補完を実現する。
論文 参考訳（メタデータ） (2025-08-25T03:57:46Z) - RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。
提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。
我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
論文 参考訳（メタデータ） (2023-07-03T13:21:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。