論文の概要: What Makes an Efficient VLA? Navigating Action-Head Design, Scaling, and Latency

• arxiv url: http://arxiv.org/abs/2609.13984v1
• Date: Sat, 12 Sep 2026 14:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.629895
• Title: What Makes an Efficient VLA? Navigating Action-Head Design, Scaling, and Latency
• Title（参考訳）: 効率的なVLAとは何か? アクションヘッド設計、スケーリング、レイテンシ
• Abstract要約: Vision-Language-Action (VLA)モデルは、事前訓練されたビジョンエンコーダ、言語バックボーン、アクションヘッドを組み合わせたモデルである。 バックボーンファミリ(SigLIP2とQwen2.5)とトレーニングパイプライン、アクションヘッド設計とモジュールスケールを修正し、各構成をデバイス上のレイテンシの測定値とペアリングする。
• 参考スコア（独自算出の注目度）: 49.22866294900869
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vision-Language-Action (VLA) models combine a pretrained vision encoder, a language backbone, and an action head, but their relative contribution has not been established under controlled, latency-paired conditions. We fix the backbone families (SigLIP2 and Qwen2.5) and the training pipeline, sweep action-head design and module scale, and pair each configuration with measured on-device latency. The study yields three findings. First, action-head performance is governed primarily by initialization rather than decoder architecture, loss, or inference budget: copying the last transformer layers of the language backbone into the head is the single largest lever, at no latency cost, and the only axis that helps at every module scale. Alignment also explains the other axes: flow matching and a heavier decoder pay off only while the head is misaligned and reverse once it is aligned, and extra inference passes give no measurable benefit; expressiveness appears to substitute for missing alignment. We read this as representation transfer: the aligned head keeps attending to the instruction's object nouns and stays close to the backbone in weight space rather than relearning to act from scratch. Because we reach alignment only through initialization, we offer this as the account that best organizes the measurements, not a demonstrated cause, and name the control that would settle it. Second, capacity pays only after alignment: the aligned action head is the highest-return module to scale. Third, those returns diminish sharply near the size today's $π$-series VLAs already use, so further growth buys little in-domain accuracy for its latency. These specify EffVLA, a compact model matching the strongest open-source VLAs on standard LIBERO, leading on most LIBERO-Plus perturbation axes at lower latency, and transferring to a real SO-ARM101 arm with the recipe unchanged.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、事前訓練された視覚エンコーダ、言語バックボーン、アクションヘッドを組み合わせているが、それらの相対的な寄与は、制御された遅延ペアリング条件下では確立されていない。 バックボーンファミリ(SigLIP2とQwen2.5)とトレーニングパイプライン、アクションヘッド設計とモジュールスケールを修正し、各構成をデバイス上のレイテンシの測定値とペアリングする。 この研究は3つの結果をもたらす。 まず、アクションヘッドのパフォーマンスは、デコーダアーキテクチャ、損失、推論予算ではなく、初期化によって管理される。言語バックボーンの最後のトランスフォーマー層をヘッドにコピーすることは、単一の最大のレバーであり、遅延コストがなく、すべてのモジュールスケールで有効な唯一の軸である。 アライメントはまた、他の軸についても説明している: フローマッチングと重いデコーダは、アライメントが整列されると頭が不整合である間だけ支払い、逆転し、余分な推論は測定可能な利益を与えない;表現力はアライメントの欠如に代わるように見える。 整列した頭は命令のオブジェクト名詞に付き添い続け、スクラッチから行動するために再学習するのではなく、重み空間の背骨に近づき続ける。 初期化によってのみアライメントに達するため、このことは測定を最もよく整理するアカウントとして提供し、実証された原因ではなく、解決するコントロールの名前として提供します。 第2に、アライメント後にのみ課金されるキャパシティ – アライメントされたアクションヘッドは、スケールする最も高いリターンモジュールである。 第3に、これらのリターンは、現在の$π$シリーズVLAが既に使用しているサイズに近いほど大幅に減少しているため、さらなる成長は、そのレイテンシのドメイン内精度をほとんど購入しない。 EffVLAは、標準のLIBERO上で最強のオープンソースVLAと一致するコンパクトモデルで、ほとんどのLIBERO-Plus摂動軸を低レイテンシで駆動し、レシピを変更せずに本物のSO-ARM101アームに転送する。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• An Isotropy-Preserving Spectral Cap for Muon: Theory and Three Case Studies [3.9617623336464636]
  ミューオンと関連する行列記号は、大規模言語モデルの事前訓練にますます使われている。 本報告では,単一理想化仮定に基づく統一フレームワークを提案する。 我々は,NanoGPTフィードフォワードプロジェクション,64-expertmix-of-expertsルータ,およびbf16 FlashAttentionブロックのクエリ/キープロジェクションの3つのシステムについて検討した。
  論文  参考訳（メタデータ） (2026-07-22T05:39:00Z)
• Direct Action-Head Injection of A Grounded 3D Point Unlocks Spatial and Task Generalization [6.3170928681089995]
  Vision-Language-Action (VLA)モデルは、柔軟なロボット操作のために大規模な視覚言語事前訓練を利用する。 それらは2つの軸に沿って不安定なままであり、空間的一般化、物体の位置が訓練中に見られるものと異なる場合、タスク一般化、慣れ親しんだシーンと異なる言語命令がペアリングされる場合である。 本稿では、3次元のグラウンド信号を表す軽量なモデルに依存しないモジュールを提案し、グリップへの相対変位を計算し、その結果をアクションヘッドに直接注入する。
  論文  参考訳（メタデータ） (2026-06-26T02:44:27Z)
• ActionMap: Robot Policy Learning via Voxel Action Heatmap [61.10410508218428]
  ActionMapは、ネイティブアクションデコーダの代わりに既存のVLAにドロップする。 Heatmapヘッドは、マッチしたトレーニングステップで、2つのアーキテクチャ的に異なるバックボーンを越えます。 クロスバックボーン一貫性は、アクション表現がVLAパフォーマンスの真のレバーであることを示している。
  論文  参考訳（メタデータ） (2026-06-05T04:42:56Z)
• TAG-Head: Time-Aligned Graph Head for Plug-and-Play Fine-grained Action Recognition [4.18721311473154]
  RGBのみを使用してFHARの標準3Dバックボーンをアップグレードする軽量なFLOグラフヘッドであるTAG-Headを紹介する。 ヘッドはコンパクト(小さな/Pオーバーヘッド)で、バックボーンをまたいでプラグ&プレイし、バックボーンでエンドツーエンドを訓練する。 我々は、TAG-HeadがRGBのみのモデルに新しい最先端のモデルを設定し、近年のマルチモーダルアプローチを超越していることを示す。
  論文  参考訳（メタデータ） (2026-04-13T14:03:58Z)
• QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models [21.01470580488428]
  視覚言語アクション(VLA)モデルは、エンボディエージェントの認識、言語、制御を統一する。 トレーニング不要なポストトレーニング量子化フレームワークQuantVLAを紹介する。 これはVLAシステムにおける最初のPTQアプローチであり、拡散トランスフォーマー(DiT)アクションヘッドの定量化に成功した最初の方法である。
  論文  参考訳（メタデータ） (2026-02-23T19:55:54Z)
• Leave No Observation Behind: Real-time Correction for VLA Action Chunks [36.13271200613596]
  非同期アクションチャンク補正(A2C2)は、制御ステップ毎に実行される軽量なリアルタイムチャンク補正ヘッドである。 A2C2は,高容量チャンキングポリシーをリアルタイム制御に展開するための効果的なプラグイン機構であることを示す。
  論文  参考訳（メタデータ） (2025-09-27T10:07:49Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。