論文の概要: DriveReward: A Comprehensive Dataset and Generative Vision-Language Reward Model for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2606.08525v1
- Date: Sun, 07 Jun 2026 09:05:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.184955
- Title: DriveReward: A Comprehensive Dataset and Generative Vision-Language Reward Model for Autonomous Driving
- Title（参考訳）: DriveReward: 自動運転のための総合的データセットと生成ビジョンランゲージ・リワードモデル
- Authors: Qimao Chen, Fang Li, Yuechen Luo, Zehan Zhang, Haiyang Sun, Fangzhen Li, Bing Wang, Guang Chen, Yang Ji, Jiong Deng, Hongwei Xie, Hangjun Ye, Long Chen, Yi Zhang,
- Abstract要約: リワードモデルは、自律運転のための強化学習(RL)とマルチモーダル軌道選択において重要な役割を果たす。
VLM(Vision-Language Models)は、他の領域における報酬モデルとして実現可能であるが、その運転タスクの有効性は未解明のままである。
DriveRewardは、時間的グラウンドの視覚的ガイダンスによって厳格にラベル付けされた推論軌道評価データセットである。
- 参考スコア（独自算出の注目度）: 17.749010844640388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reward models play a pivotal role in reinforcement learning (RL) and multi-modal trajectory selection for autonomous driving. However, acquiring such rewards typically relies on hand-crafted rule-based objectives or perception ground truth, which hinders generalization for data-scaling. While Vision-Language Models (VLMs) have demonstrated feasibility as reward models in other domains, their effectiveness in driving tasks remains underexplored. In this work, we bridge this gap by (1) introducing DriveReward, a reasoning trajectory evaluation dataset rigorously labeled via temporally-grounded visual guidance, and augmented with counterfactual driving behaviors., (2) alongside a specialized Vision-Language Reward Model. To address the scarcity of failure cases in conventional datasets, we propose a counterfactual data annotation scheme to construct cases encompassing diverse driving styles and erroneous behaviors. Evaluations on our proposed benchmark reveal that even leading open-source and proprietary VLMs fail to excel across all tasks, highlighting significant room for improvement in existing models. Building on these findings, we subsequently tailor a specialized 1B reward model that outperforms larger VLMs on task-specific reward alignment. Finally, we validate our reward model's effectiveness by integrating it into RL finetuning and multi-modal trajectory scoring across multiple baselines, achieving performance comparable to rule-based reward calculations in both open-loop and closed-loop evaluation.
- Abstract（参考訳）: リワードモデルは、自律運転のための強化学習(RL)とマルチモーダル軌道選択において重要な役割を果たす。
しかし、そのような報酬を得るには、典型的には手作りのルールベースの目的や、データスケーリングの一般化を妨げる認識基盤の真実に依存する。
VLM(Vision-Language Models)は、他の領域における報酬モデルとして実現可能であるが、その運転タスクの有効性は未解明のままである。
本研究では,そのギャップを(1)DriveRewardを導入することで橋渡しする。これは時間的背景の視覚誘導によって厳格にラベル付けされた推論軌道評価データセットであり,反現実的な運転行動で強化される。
ビジョンランゲージ・リワード・モデル(Vision-Language Reward Model)。
従来のデータセットにおける障害事例の不足に対処するために,多様な運転スタイルや誤動作を含む事例を事例として構築する,逆ファクトファクトデータアノテーション手法を提案する。
提案したベンチマークの結果から,オープンソースおよびプロプライエタリなVLMでさえ,すべてのタスクに精通せず,既存のモデルに改善の余地があることが判明した。
これらの結果に基づいて,タスク固有の報酬アライメントにおいて,より大きなVLMよりも優れた1B報酬モデルを構築する。
最後に、RLファインタニングとマルチモーダル軌道スコアリングを複数のベースラインに組み込むことにより、報酬モデルの有効性を検証し、オープンループおよびクローズループ評価の両方においてルールベース報酬計算に匹敵する性能を達成する。
関連論文リスト
- MAPLE: Latent Multi-Agent Play for End-to-End Autonomous Driving [62.43744546817599]
視覚言語-アクション(VLA)モデルは、エンドツーエンドのモーションプランナーとして有効であるが、クローズドループ設定で評価すると不安定である。
本稿では, VLAモデルの潜在空間における動的駆動シナリオの, リアクティブでマルチエージェントなロールアウトのための新しいフレームワークMAPLEを提案する。
MAPLEはBench2Driveで最先端の駆動性能を実現し、堅牢なE2E自動運転システムのためのスケーラブルでクローズループなマルチエージェントプレイを実演する。
論文 参考訳（メタデータ） (2026-05-13T23:35:14Z) - CoReVLA: A Dual-Stage End-to-End Autonomous Driving Framework for Long-Tail Scenarios via Collect-and-Refine [73.74077186298523]
CoReVLAは、自動運転のための継続的学習フレームワークである。
データコレクションとビヘイビアリファインメントの2段階プロセスを通じて、ロングテールシナリオのパフォーマンスを改善する。
CoReVLAは72.18のドライビングスコア(DS)と50%の成功率(SR)を達成し、7.96DSの最先端手法と15%SRの長期的安全クリティカルシナリオで性能を向上する。
論文 参考訳（メタデータ） (2025-09-19T13:25:56Z) - AutoDrive-R$^2$: Incentivizing Reasoning and Self-Reflection Capacity for VLA Model in Autonomous Driving [37.260140808367716]
本稿では,自律運転システムの推論能力と自己回帰能力を両立させる新しいVLAフレームワークであるAutoDrive-R$2$を提案する。
まず,教師付き微調整のための新しいCoTデータセット nuScenesR$2$-6K を提案する。
次に, グループ相対政策最適化(GRPO)アルゴリズムを用いて, 信頼性の高い滑らかさと現実的な軌道計画を実現する。
論文 参考訳（メタデータ） (2025-09-02T04:32:24Z) - ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving [49.07731497951963]
ReCogDriveは、エンドツーエンドの自動運転のための新しい強化認知フレームワークである。
我々は、人間のドライバーのシーケンシャルな認知過程を模倣する階層的なデータパイプラインを導入する。
次に、VLMの学習した運転先を拡散プランナーに注入することで、言語行動ミスマッチに対処する。
論文 参考訳（メタデータ） (2025-06-09T03:14:04Z) - InDRiVE: Intrinsic Disagreement based Reinforcement for Vehicle Exploration through Curiosity Driven Generalized World Model [0.0]
本稿では,InDRiVE(Intrinsic Disagreement based Reinforcement for Vehicle Exploration)をモデルベース強化学習フレームワークとして提案する。
エージェントは、世界モデルのアンサンブルを訓練することにより、タスク固有のフィードバックなしで、環境の不確実性の高い領域を積極的に探索する。
InDRiVEはDreamerV2やDreamerV3に比べて高い成功率と少ない屈折率を達成している。
論文 参考訳（メタデータ） (2025-03-07T16:56:00Z) - Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [79.2162092822111]
我々は,一連のナビゲーションタスクにおいて,強化学習(RL)と制御に基づく手法を体系的に評価する。
我々は、JEPA(Joint Embedding Predictive Architecture)を使用して、潜在ダイナミクスモデルを使用し、それを計画に使用します。
その結果,モデルベースプランニングではレイアウトが不明瞭になるのに対して,モデルフリーのRLは高品質なデータから恩恵を受けることがわかった。
論文 参考訳（メタデータ） (2025-02-20T18:39:41Z) - LORD: Large Models based Opposite Reward Design for Autonomous Driving [11.717821043996352]
LORDは、望ましくない言語目標を通じて、対向的な報酬設計に基づく新しい大モデルである。
提案手法は,大規模な事前学習モデルのパワーを有効活用し,安全で高機能な自動運転を実現するための有効性を示す。
論文 参考訳（メタデータ） (2024-03-27T19:30:06Z) - When Demonstrations Meet Generative World Models: A Maximum Likelihood
Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。
タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
論文 参考訳（メタデータ） (2023-02-15T04:14:20Z) - Distribution-aware Goal Prediction and Conformant Model-based Planning
for Safe Autonomous Driving [16.654299927694716]
本研究では,学習から学習までのタスクを,障害物認識と接地,分布認識の目標予測,モデルベース計画として再構築する。
CARLAシミュレータでは,CARNOVELベンチマークの最先端結果を報告する。
論文 参考訳（メタデータ） (2022-12-16T21:51:51Z) - Model-based versus Model-free Deep Reinforcement Learning for Autonomous
Racing Cars [46.64253693115981]
本稿では,モデルに基づく深層強化学習エージェントが現実世界の自律車両制御タスクに一般化する方法について検討する。
本稿では,想像力で学習可能なモデルベースエージェント,パフォーマンス,サンプル効率,タスク完了,一般化に関して,モデルフリーエージェントを実質的に上回っていることを示す。
論文 参考訳（メタデータ） (2021-03-08T17:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。