論文の概要: Event-VLA: Action-Conditioned Event Fusion for Robust Vision-Language-Action Model
- arxiv url: http://arxiv.org/abs/2606.29384v1
- Date: Sun, 28 Jun 2026 13:19:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.901781
- Title: Event-VLA: Action-Conditioned Event Fusion for Robust Vision-Language-Action Model
- Title（参考訳）: Event-VLA:ロバスト・ビジョン・ランゲージ・アクション・モデルのためのアクション・コンディションド・イベント・フュージョン
- Abstract要約: 我々は,様々な照明条件にまたがる汎用操作を実現するイベント強化VLAフレームワークであるtextbfEvent-VLAを提案する。
劣化した可視性の下でのVLAベースの操作を,RGB中心のポリシーの実用的堅牢性問題として定式化する。
本研究では,Event-VLAが通常の照明下での強い操作性能を維持し,低照度劣化および近ダーク実環境下での成功率を向上させることを示す。
- 参考スコア（独自算出の注目度）: 27.539814269879297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models have become an important paradigm of embodied AI. However, existing VLA models typically assume well-lit and stable indoor settings, while real-world embodied manipulation may involve degraded RGB observations caused by illumination shifts, posing critical challenges for robust robotic manipulation. To address this gap, we propose \textbf{Event-VLA}, an event-enhanced VLA framework for generalizable manipulation across varying illumination conditions. We formulate VLA-based manipulation under degraded visibility as a practical robustness problem for RGB-centric policies, and introduce event streams as an illumination-robust, motion-sensitive complementary observation to improve robustness across visibility levels. Specifically, unlike conventional multimodal fusion that directly merges event features into the global semantic token space, Event-VLA injects event information through an action-query routing pathway. It uses learnable action queries to extract task-relevant semantics from the VLA reasoning process, and selectively aggregates event tokens via gated cross-attention to construct event-aware action representations. This design preserves the pretrained RGB-language semantic priors while effectively leveraging event information for robust action prediction. Experiments in simulation and real-world deployment show that Event-VLA maintains strong manipulation performance under normal lighting and improves success rates under low-light degradation and near-dark real-world settings.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、AIを具現化した重要なパラダイムとなっている。
しかしながら、既存のVLAモデルは、よく照らされた安定した屋内環境を前提としているのに対し、現実の具体的操作は、照明のシフトによって引き起こされる劣化したRGB観察を伴い、堅牢なロボット操作にとって重要な課題となっている。
このギャップに対処するために,様々な照明条件にまたがる一般化可能な操作を行うイベント駆動型VLAフレームワークである \textbf{Event-VLA} を提案する。
我々は, 可視性低下下でのVLAに基づく操作を, RGB中心ポリシーの実用的ロバスト性問題として定式化し, イベントストリームを照度ロバストで動作に敏感な相補的観測として導入し, 可視性レベルを越えたロバスト性の向上を図る。
具体的には、イベント機能をグローバルなセマンティックトークン空間に直接マージする従来のマルチモーダル融合とは異なり、Event-VLAはアクションクエリルーティング経路を通じてイベント情報を注入する。
学習可能なアクションクエリを使用して、VLA推論プロセスからタスク関連セマンティクスを抽出し、ゲートクロスアテンションを介してイベントトークンを選択的に集約して、イベント認識アクション表現を構築する。
この設計は、イベント情報を堅牢なアクション予測に効果的に活用しつつ、事前訓練されたRGB言語セマンティック先行情報を保存する。
シミュレーションおよび実世界の展開実験により、Event-VLAは通常の照明下での強い操作性能を維持し、低照度劣化とほぼ暗黒の現実世界環境下での成功率を向上させることが示されている。
関連論文リスト
- QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。
VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。
提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
論文 参考訳（メタデータ） (2026-05-24T06:28:53Z) - Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance [108.46436073194546]
効果的なプランニングは、ローカルで、視覚的に基礎があり、内部で生成され、アクションと直接整合するべきである、と私たちは主張する。
本稿では,タスク条件付きアベイランスをVLAモデル内で明示的な視覚的計画インターフェースとして内包する統合フレームワークであるAfford-VLAを提案する。
論文 参考訳（メタデータ） (2026-05-22T20:43:47Z) - AffordVLA: Injecting Affordance Representations into Vision-Language-Action Models via Implicit Feature Alignment [8.122021272122668]
AffordVLAは、操作中心のアベイランス知覚をVLA視覚表現に内部化する、アベイランス強化ビジョン・ランゲージ・アクション(VLA)フレームワークである。
AffordVLA は推論効率を保ちながら VLA の視覚表現を効果的に再現し,操作成功率とトレーニング効率を向上することを示した。
論文 参考訳（メタデータ） (2026-05-17T16:02:05Z) - PosA-VLA: Enhancing Action Generation via Pose-Conditioned Anchor Attention [92.85371254435074]
PosA-VLAフレームワークは、ポーズ条件付き監視を通じて視覚的注意を保ち、タスク関連領域に対するモデルの認識を一貫して導く。
本手法は,多様なロボット操作ベンチマークにおいて,正確かつ時間効率のよい動作を実施できることを示す。
論文 参考訳（メタデータ） (2025-12-03T12:14:29Z) - Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。
我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
論文 参考訳（メタデータ） (2025-12-02T14:42:54Z) - Event-based Facial Keypoint Alignment via Cross-Modal Fusion Attention and Self-Supervised Multi-Event Representation Learning [16.170645576584487]
イベントカメラは、困難な条件下での顔のキーポイントアライメントにユニークな利点を提供する。
本稿では、イベントベースの顔キーポイントアライメントのための、相互統合注意(CMFA)と自己教師型マルチイベント表現学習(SSMER)に基づく新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-29T16:00:50Z) - DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge [41.030494146004806]
本稿では,逆動力学モデリングを実現するために,包括的世界知識予測を統合した新しいVLAフレームワークであるDreamVLAを提案する。
DreamVLAは、動的領域誘導の世界知識予測を導入し、空間的および意味的な手がかりと統合し、アクション計画のためのコンパクトで包括的な表現を提供する。
実世界とシミュレーション環境での実験では、ドリームVLAが実際のロボットタスクで76.7%の成功率を達成したことが示されている。
論文 参考訳（メタデータ） (2025-07-06T16:14:29Z) - HybridVLA: Collaborative Diffusion and Autoregression in a Unified Vision-Language-Action Model [54.64088247291416]
操作ポリシー設計の基本的な目的は、ロボットに人間の指示を理解し、シーンの手がかりを推論し、動的な環境で一般化されたアクションを実行することである。
近年の自己回帰的視覚言語行動(VLA)法は、視覚言語モデル(VLM)から常識推論能力を継承し、次の行動予測を行う。
拡散に基づく行動の連続的な性質と自己回帰の文脈的推論を吸収する統合フレームワークであるHybridVLAを紹介する。
論文 参考訳（メタデータ） (2025-03-13T17:59:52Z) - EventZoom: A Progressive Approach to Event-Based Data Augmentation for Enhanced Neuromorphic Vision [9.447299017563841]
ダイナミックビジョンセンサー(DVS)は、高時間分解能と低消費電力でイベントデータをキャプチャする。
イベントデータ拡張は、イベントデータセットのスケールと多様性の制限を克服するための重要な方法である。
論文 参考訳（メタデータ） (2024-05-29T08:39:31Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳（メタデータ） (2023-11-18T08:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。