論文の概要: Spike-driven Vision-Language-Action Model

• arxiv url: http://arxiv.org/abs/2609.39514v1
• Date: Wed, 30 Sep 2026 11:16:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.597842
• Title: Spike-driven Vision-Language-Action Model
• Title（参考訳）: スパイク駆動型ビジョンランゲージ・アクションモデル
• Abstract要約: ビジョンアクション(VLA)モデルはマルチモーダル理解とロボット制御を橋渡しし、インボディードインテリジェンスの主要なパラダイムを推し進める。 ロボット操作のためのエンドツーエンドの直接訓練を可能にする最初のスパイク駆動型VLAフレームワークを提案する。 スパイク駆動型VLAは従来のVLAモデルよりも少ないパラメータと推定推論エネルギーで競合性能を達成する。
• 参考スコア（独自算出の注目度）: 27.45303619867471
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) models bridge multimodal understanding and robotic control, advancing the dominant paradigm for embodied intelligence. However, most existing models rely on large Transformers, whose latency and energy costs hinder deployment on resource-constrained platforms. Through sparse event-driven computation, spiking neural networks offer a promising paradigm for high-performance and energy-efficient computing. Here, we propose the first Spike-driven VLA framework enabling end-to-end direct training for robotic manipulation, which mainly comprises three core components. First, we develop spiking visual and instruction encoders for multimodal perception, encoding visual observations and language instructions into sparse, reliable spike representations for subsequent cross-modal fusion. Then, we introduce Multi-Winner Spike Fusion for instruction-guided scene understanding, using bidirectional top-$k$ winner-take-all spike routing to suppress background interference and yield fused memory. Finally, we propose a Spike Action Chunking Transformer that incorporates spiking cross-attention over the fused memory and the current robot state, enabling efficient end-to-end generation of continuous action chunks for robotic control. Extensive experiments on LIBERO and Meta-World demonstrate that Spike-driven VLA achieves competitive performance with fewer parameters and lower estimated inference energy than conventional VLA models. This work establishes a foundational framework for neuromorphic VLA modeling, paving the way for future advances in resource-efficient embodied intelligence.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルはマルチモーダル理解とロボット制御をブリッジし、インボディードインテリジェンスの主要なパラダイムを推し進める。 しかし、既存のほとんどのモデルは大きなトランスフォーマーに依存しており、そのレイテンシとエネルギーコストはリソース制約のあるプラットフォームへのデプロイを妨げる。 スパースイベント駆動の計算により、スパイクニューラルネットワークは高性能でエネルギー効率のよい計算に有望なパラダイムを提供する。 本稿では,主に3つのコアコンポーネントから構成されるロボット操作のエンドツーエンド直接訓練を可能にする,最初のスパイク駆動型VLAフレームワークを提案する。 まず、マルチモーダルな認識のためのスパイク視覚および命令エンコーダを開発し、視覚観察と言語命令をスパースで信頼性の高いスパイク表現に符号化し、その後の相互モーダル融合を実現する。 次に,マルチウィンナースパイクフュージョン(Multi-Winner Spike Fusion)を導入した。 最後に、融合メモリと現在のロボット状態にスパイクするクロスアテンションを組み込んだスパイクアクションチャンキングトランスを提案し、ロボット制御のための効率的なエンドツーエンドのアクションチャンク生成を可能にする。 LIBEROとMeta-Worldの大規模な実験により、スパイク駆動型VLAは従来のVLAモデルよりも少ないパラメータと低い推定推論エネルギーで競合性能を達成することが示された。 この研究はニューロモルフィックVLAモデリングの基礎的枠組みを確立し、資源効率の良いインテリジェンスにおける将来の進歩の道を開く。

関連論文リスト

• LeapBot-WA: World-Anchor Action Models via Predictive Latent Alignments [41.26480439505561]
  世界行動モデル(WAM)は、インテリジェンスを具現化する強力なパラダイムとして登場した。 モデルにタスク非関連の視覚的詳細を再構築させると、表現能力が低下し、視覚的邪魔者に対して脆弱なポリシーが現れる。 本稿では,JEPA(Joint-Embedding Predictive Architecture)をワールドアンカーとして運用することで,WAMの新たな予測-遅延パラダイムを確立するLeapBot-WAを提案する。
  論文  参考訳（メタデータ） (2026-07-27T03:36:45Z)
• SpikeVLA: Vision-Language-Action Models with Spiking Neural Networks [12.869788965652619]
  SpikeVLAはエネルギー効率のよいナビゲーションを実現するためのスパイクVLAアーキテクチャである。 視覚エンコーダのSpike-Vは、高密度連続層をイベント駆動スパイク層に置き換え、視覚表現学習のエネルギー消費を減らす。 マルチモーダルスパイク大言語モデルであるSpike-Lは、スパイクダイナミックスとトークンレベルのイベント駆動性によって、クロスモーダル推論を再構成し、計算コストをさらに下げる。
  論文  参考訳（メタデータ） (2026-06-26T07:45:45Z)
• DIAL: Decoupling Intent and Action via Latent World Modeling for End-to-End VLA [72.9197085473598]
  DIALはハイレベルな意思決定と低レベルなモーター実行を、差別化可能な潜在意図ボトルネックを通じてブリッジするフレームワークである。 VLMベースのSystem-2は、VLMのネイティブな特徴空間内で、潜伏した視覚的フォレストによって潜伏世界モデリングを行う。 軽量のSystem-1ポリシーでは、この予測された意図と現在の観測結果を正確にロボットの動作にデコードする。
  論文  参考訳（メタデータ） (2026-03-31T15:02:27Z)
• mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs [5.109732854501585]
  そこで我々は,事前学習したインターネットスケールのビデオモデルと,その潜在表現に条件付けされたフローマッチングに基づくアクションデコーダを組み合わせた,新しいビデオ・アクション・モデル(VAM)を提案する。 提案手法は,シミュレーションおよび実世界のロボット操作タスクにおける最先端性能を実現し,サンプル効率を10倍,収束速度を2倍向上させる。
  論文  参考訳（メタデータ） (2025-12-17T18:47:31Z)
• dVLA: Diffusion Vision-Language-Action Model with Multimodal Chain-of-Thought [66.78110237549087]
  VLA(Vision-Language-Action)モデルは、ロボット工学の次世代パラダイムとして登場しつつある。 単一システムにおける視覚認識,言語推論,ロボット制御を統一する拡散型VLAであるdVLAを紹介する。
  論文  参考訳（メタデータ） (2025-09-30T02:36:11Z)
• SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [70.72227437717467]
  VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。 計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。 本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:04:17Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。