論文の概要: SpikeVLA: Vision-Language-Action Models with Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2606.27807v1
- Date: Fri, 26 Jun 2026 07:45:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.411144
- Title: SpikeVLA: Vision-Language-Action Models with Spiking Neural Networks
- Title(参考訳): SpikeVLA:スパイクニューラルネットワークを用いたビジョンランゲージ・アクションモデル
- Abstract要約: SpikeVLAはエネルギー効率のよいナビゲーションを実現するためのスパイクVLAアーキテクチャである。
視覚エンコーダのSpike-Vは、高密度連続層をイベント駆動スパイク層に置き換え、視覚表現学習のエネルギー消費を減らす。
マルチモーダルスパイク大言語モデルであるSpike-Lは、スパイクダイナミックスとトークンレベルのイベント駆動性によって、クロスモーダル推論を再構成し、計算コストをさらに下げる。
- 参考スコア(独自算出の注目度): 12.869788965652619
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models have become a dominant paradigm for embodied intelligence. However, most existing approaches are built on large-scale transformers, resulting in substantial inference latency and energy consumption that limit their practical deployment in low-power, real-time scenarios. We propose SpikeVLA, a spiking VLA architecture for embodied navigation with energy-efficient inference, consisting of three key components. (i) A spiking vision encoder, Spike-V, that replaces dense continuous layers with event-driven spiking layers to reduce the energy consumption of visual representation learning. (ii) A multi-modal spiking large language model, Spike-L, that reformulates cross-modal reasoning with spiking dynamics and token-level event-driven sparsity to further lower computational cost. (iii) A spiking action policy network, Spike-A employs Laplacian-kernel population coding with a multi-layer fully connected SNN, and decodes spiking activities into stable and robust continuous control with energy-efficient inference under low-power constraints. Experiments on navigation and robotic control tasks show that SpikeVLA significantly reduces energy consumption and computational cost while maintaining competitive performance, highlighting its potential for low-power, real-time embodied intelligence.
- Abstract(参考訳): VLA(Vision-Language-Action)モデルは、インテリジェンスにおいて支配的なパラダイムとなっている。
しかし、既存のほとんどのアプローチは大規模なトランスフォーマー上に構築されており、結果として推論遅延とエネルギー消費が大きくなり、低消費電力でリアルタイムなシナリオでの実践的なデプロイが制限される。
本稿では,3つの鍵成分からなるエネルギー効率のよい航法を具現化したスパイクVLAを提案する。
(i)高密度連続層をイベント駆動型スパイキング層に置き換え、視覚表現学習の省エネを図るスパイキングビジョンエンコーダSpike-V。
(II)多モードスパイキング大言語モデルであるSpike-Lは、スパイキングダイナミクスとトークンレベルのイベント駆動性により、クロスモーダル推論を再構成し、計算コストをさらに下げる。
3)スパイキングアクションポリシーネットワークであるSpike-Aは,多層完全連結SNNを用いてラプラシアンカーネル集団を符号化し,低消費電力制約下でのエネルギー効率推論によりスパイキング活性を安定かつ堅牢な連続制御に復号する。
ナビゲーションとロボット制御タスクの実験では、SpikeVLAは競争性能を維持しながらエネルギー消費と計算コストを著しく削減し、低消費電力でリアルタイムなインテリジェンスの可能性を強調している。
関連論文リスト
- EcoVLA: Energy-Efficient Device-Edge Co-Inference for Vision-Language-Action Models under Real-Time Constraints [23.410324128942168]
Vision-Language-Action(VLA)モデルは、Embodied AIの有望な基盤として登場した。
その高い推論コストは、ロボットシステムへの展開に重大な課題をもたらす。
本稿では,VLAモデルの適応型デバイスエッジ共推論フレームワークであるEcoVLAを提案する。
論文 参考訳(メタデータ) (2026-08-16T03:08:40Z) - DA-PTQ: Drift-Aware Post-Training Quantization for Efficient Vision-Language-Action Models [61.26694413585136]
DA-PTQ (Drift-Aware Post-Training Quantization) は、逐次決定過程に対するドリフト-アウェア最適化問題として量子化を定式化する。
DA-PTQはキネマティックドリフトを著しく低減し、低ビット設定下での完全精度モデルに匹敵する性能を達成する。
論文 参考訳(メタデータ) (2026-04-13T14:51:43Z) - Ge$^\text{2}$mS-T: Multi-Dimensional Grouping for Ultra-High Energy Efficiency in Spiking Transformer [84.8831358775386]
スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも優れたエネルギー効率を提供する
ANN-SNN ConversionやSpatial-Temporal Backpropagation (STBP)といった既存のパラダイムは、固有の制限に悩まされている。
Ge$text2$mS-Tを提案する。これは時間的・空間的・ネットワーク的構造次元にまたがるグループ計算を実装した新しいアーキテクチャである。
論文 参考訳(メタデータ) (2026-04-10T02:58:46Z) - Event-Driven Neuromorphic Vision Enables Energy-Efficient Visual Place Recognition [1.410209203415769]
バイオインスパイアされたニューロモルフィックなアプローチであるSpikeVPRを導入し、コンパクトで不変な場所記述子を生成する。
SpikeVPRは、代理勾配学習を使用してエンドツーエンドでトレーニングされ、新しい拡張戦略であるEventDilationが組み込まれている。
SpikeVPRは、50倍のパラメータを使用し、30~250倍のエネルギーを消費しながら、最先端のディープネットワークに匹敵するパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-03-24T10:26:20Z) - HyperVL: An Efficient and Dynamic Multimodal Large Language Model for Edge Devices [33.126787921005736]
現在の大きなラナウジュモデルは強い知覚と推論能力を持っている。
高い計算とメモリの要求により、デバイス上で直接デプロイすることが困難になる。
デバイス上での推論に適したマルチモーダルな大規模言語モデルであるHyperVLを紹介する。
論文 参考訳(メタデータ) (2025-12-16T03:36:41Z) - FASTer: Toward Efficient Autoregressive Vision Language Action Modeling via Neural Action Tokenization [61.10456021136654]
本稿では,効率的で汎用的なロボット学習のための統合フレームワークであるFASTerを紹介する。
FASTerVQは、アクションチャンクをシングルチャネルイメージとしてエンコードし、高い圧縮比を維持しながら、グローバルな時間的依存関係をキャプチャする。
FASTerVLAはブロックワイドの自動回帰デコーディングと軽量アクションエキスパートを備えたトークンライザ上に構築されており、推論の高速化とタスクパフォーマンスの向上を実現している。
論文 参考訳(メタデータ) (2025-12-04T16:21:38Z) - Efficient Onboard Vision-Language Inference in UAV-Enabled Low-Altitude Economy Networks via LLM-Enhanced Optimization [61.55616421408666]
低高度経済ネットワーク(LAENets)は、航空監視、環境検知、セマンティックデータ収集など、様々な応用を可能にしている。
オンボードビジョン(VLM)は、リアルタイムな推論を提供するが、オンボードの動的ネットワーク条件は限られている。
動的LEENet条件下での通信効率を向上させるUAV対応LEENetシステムを提案する。
論文 参考訳(メタデータ) (2025-10-11T05:11:21Z) - dVLA: Diffusion Vision-Language-Action Model with Multimodal Chain-of-Thought [66.78110237549087]
VLA(Vision-Language-Action)モデルは、ロボット工学の次世代パラダイムとして登場しつつある。
単一システムにおける視覚認識,言語推論,ロボット制御を統一する拡散型VLAであるdVLAを紹介する。
論文 参考訳(メタデータ) (2025-09-30T02:36:11Z) - Context-aware Sparse Spatiotemporal Learning for Event-based Vision [0.012972287044966184]
イベントベースのカメラは、ロボット知覚のための有望なパラダイムとして登場し、高時間分解能、高ダイナミックレンジ、動きのぼかしに対する堅牢性といった利点を提供している。
既存のディープラーニングベースのイベント処理手法では、イベントデータのスパースな性質を完全に活用できないことが多い。
入力分布に基づいてニューロンの活性化を動的に制御するコンテキスト認識しきい値処理を導入した新しいフレームワークであるコンテキスト認識スパース時空間学習(CSSL)を提案する。
論文 参考訳(メタデータ) (2025-08-27T11:48:03Z) - SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [70.72227437717467]
VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。
計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。
本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
論文 参考訳(メタデータ) (2025-06-15T05:04:17Z) - Think Twice, Act Once: Token-Aware Compression and Action Reuse for Efficient Inference in Vision-Language-Action Models [30.7855782696894]
VLA(Vision-Language-Action)モデルは、自然言語による汎用ロボット制御の強力なパラダイムとして登場した。
VLAモデルにおけるアクション再利用を可能にする最初のトレーニングフリーかつプラグアンドプレイアクセラレーションフレームワークであるFlashVLAを提案する。
論文 参考訳(メタデータ) (2025-05-27T13:47:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。