論文の概要: PRIME: Perception Feedback with Situational Memory Embeddings in VLA Models
- arxiv url: http://arxiv.org/abs/2609.22040v1
- Date: Fri, 18 Sep 2026 17:31:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.220476
- Title: PRIME: Perception Feedback with Situational Memory Embeddings in VLA Models
- Title（参考訳）: PRIME: VLAモデルにおける状況記憶埋め込みによる知覚フィードバック
- Abstract要約: 自律走行のための現在のビジョン・ランゲージ・アクション(VLA)モデルは、主に知覚推論(receptive-reasoning-planning hierarchy)を介してフィードフォワード推論を通して機能する。
本稿では,新しい状況記憶にVLAの知覚的クエリを条件付ける学習フィードバック機構であるPRIMEを紹介する。
過去の知覚、推論、航法目標、予測行動の潜在表現を横断的注意によって集約することにより、PRIMEは最小の計算コストで意図駆動の知覚的注意を可能にする。
- 参考スコア（独自算出の注目度）: 5.290609018252977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current Vision-Language-Action (VLA) models for autonomous driving operate primarily through feedforward inference across the perception--reasoning--planning hierarchy. While modern architectures maintain temporal recurrence within the perceptual module, early perception remains blind to downstream reasoning and navigation goals, processing visual inputs agnostically without prioritizing cues informed by prior decisions. To bridge this gap, this paper introduces PRIME, a learned feedback mechanism that conditions the VLA perceptual queries on a novel Situational Memory. By aggregating latent representations of past perception, reasoning, navigation goals, and predicted behaviors across an L-step window via cross-attention, PRIME enables intent-driven perceptual attention at minimal computational cost, adding only a maximum of 29.7M parameters (0.41% of the 7.3B-parameter base model). Evaluated on the Bench2Drive closed-loop benchmark, PRIME achieves a state-of-the-art Driving Score of 82.47 (+4.73 over ORION) and a Success Rate of 60.00% (+5.38 percentage points), the highest reported Driving Score among published VLAs trained on Think2Drive demonstrations.
- Abstract（参考訳）: 自律走行のための現在のビジョン・ランゲージ・アクション(VLA)モデルは、主に知覚推論(receptive-reasoning-planning hierarchy)を介してフィードフォワード推論を通して機能する。
現代の建築では知覚モジュール内での時間的再発は維持されているが、初期の知覚は下流の推論やナビゲーションの目標に盲目のままであり、視覚的な入力は事前決定によって通知される手がかりを優先することなく、不可知的に処理する。
本稿では,このギャップを埋めるために,新しい状況記憶にVLAの知覚的クエリを条件付ける学習的フィードバック機構であるPRIMEを紹介する。
過去の知覚、推論、航法目標、予測行動の潜在表現を横断的注意を通じて集約することにより、PRIMEは最小計算コストで意図駆動の知覚的注意を許容し、最大29.7Mパラメータ(7.3Bパラメーターベースモデルの0.41%)を追加する。
Bench2Driveのクローズドループベンチマークで評価され、PRIMEは最先端のドライビングスコア82.47 (+4.73 over ORION)、成功率60.00% (+5.38%)を達成した。
関連論文リスト
- Drive by Hindsight and Foresight: Tool-Grounded Synergistic Reasoning over Hierarchical Memory for Autonomous Driving [0.8419406375517101]
VLMは自動運転を約束するが、それでも弱い時間的認識と限定的な一般化に悩まされている。
最近の手法は、CoTの説明、検索強化生成、ツール出力の静的注入による推論と意思決定を改善する。
クローズドループでのプロアクティブツール呼び出しと階層的メモリを密結合する最初のシナジスティックフレームワークである、私たちの知識を提示する。
論文 参考訳（メタデータ） (2026-09-08T03:59:10Z) - PredVLA: Predictive Sensorimotor Modeling for Sub-Million-Parameter Robot Manipulation [4.55011976634859]
PredVLAは、トレーニング可能なネットワークパラメータがわずか0.68万で、ロボットデータの事前学習がない言語条件の予測符号化ポリシーである。
階層的なリカレントダイナミクスは視覚的特徴と固有受容を予測し、観察は予測エラー駆動オンライン推論によってのみ潜在状態に影響を与える。
論文 参考訳（メタデータ） (2026-08-27T06:27:11Z) - PriorEye: Geospatial Visual Priors for End-to-End Autonomous Driving [8.847248042144681]
本稿では,デュアルメモリアーキテクチャと適応メモリゲートを備えたメモリ拡張モジュールを提案する。
このアプローチは、さまざまなエンドツーエンドのベースラインにわたるパフォーマンスを一貫して改善します。
本手法はセンサの破損に対するロバスト性を本質的に向上するが,デュアルメモリ設計は,検索した前処理が信頼できない場合に安全なフォールバックを保証する。
論文 参考訳（メタデータ） (2026-06-30T15:36:48Z) - VisualThink-VLA: Visual Intermediate Reasoning for Effective and Low-Latency Vision-Language-Action Policies [58.65913948991329]
正確な低レイテンシVLAポリシーのためのビジュアル中間推論フレームワークであるVISUALTHINK-VLAを提案する。
私たちのブートストラップ哲学は、効果的な視覚的思考でアクションを導くことです。
これは、デコードオーバーヘッドを回避しながら空間的精度を保った、コンパクトなビジュアル・エビデンスインターフェースを通じてアクション予測をブートストラップする。
論文 参考訳（メタデータ） (2026-05-28T14:36:53Z) - Counterfactual VLA: Self-Reflective Vision-Language-Action Model with Adaptive Reasoning [71.19675094463834]
この作業では、モデルが実行前に計画されたアクションを推論し、修正することを可能にする、自己修正型のVLAフレームワークである、Counterfactual VLAを導入している。
CF-VLAはまず、駆動意図を要約した時間分割メタアクションを生成し、その後、メタアクションと視覚コンテキストの両方で条件付けられた反実的推論を実行する。
大規模運転データセットの実験では、CF-VLAは軌道精度を最大17.6%向上し、安全基準を20.5%向上し、適応的思考を示す。
論文 参考訳（メタデータ） (2025-12-30T19:04:17Z) - Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。
本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。
推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
論文 参考訳（メタデータ） (2025-10-20T09:58:03Z) - FASTopoWM: Fast-Slow Lane Segment Topology Reasoning with Latent World Models [75.28505955393591]
レーンセグメント推論は、総合的な鳥眼ビュー(BEV)ロードシーン理解を提供する。
ストリームベースの時間的伝搬法は,クエリレベルとBEVレベルの両方に時間的手がかりを組み込むことで,有望な結果を示した。
FASTopoWMは、潜在世界モデルで拡張された新しい高速スローレーンセグメント推論フレームワークである。
論文 参考訳（メタデータ） (2025-07-31T08:12:56Z) - Pedestrian Intention Prediction via Vision-Language Foundation Models [10.351342371371675]
本研究では,歩行者の横断意図を予測するための視覚言語基礎モデル(VLFM)の可能性について検討する。
この方法論は、視覚的フレーム、物理的キュー観察、エゴ・車両力学などの文脈情報を体系的に洗練されたプロンプトに組み込む。
結果は、車両の速度、時間の経過とともに変化し、時間意識的なプロンプトが予測精度を19.8%まで著しく向上させることを示した。
論文 参考訳（メタデータ） (2025-07-05T19:39:00Z) - End-to-End Autonomous Driving without Costly Modularization and 3D Manual Annotation [34.070813293944944]
視覚に基づくエンドツーエンド自動運転(E2EAD)のためのUADを提案する。
私たちのモチベーションは、現在のE2EADモデルが依然として典型的な駆動スタックのモジュラーアーキテクチャを模倣していることに起因しています。
我々のUADは、NUScenesにおける平均衝突速度において、UniADに対して38.7%の相対的な改善を達成し、CARLAのCown05 Longベンチマークの駆動スコアにおいて、VADを41.32ポイント上回っている。
論文 参考訳（メタデータ） (2024-06-25T16:12:52Z) - Valeo4Cast: A Modular Approach to End-to-End Forecasting [93.86257326005726]
我々のソリューションはArgoverse 2 end-to-end Forecasting Challengeで63.82 mAPfでランクインした。
私たちは、知覚から予測までエンドツーエンドのトレーニングを通じて、このタスクに取り組む現在のトレンドから離れ、代わりにモジュラーアプローチを使用します。
私たちは、昨年の優勝者より+17.1ポイント、今年の優勝者より+13.3ポイント、予測結果を+17.1ポイント上回る。
論文 参考訳（メタデータ） (2024-06-12T11:50:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。