論文の概要: Comfortably Stuck: Evaluation Pitfalls in Bench2Drive's Closed-Loop Protocol

• arxiv url: http://arxiv.org/abs/2610.21741v2
• Date: Tue, 20 Oct 2026 16:19:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.213499
• Title: Comfortably Stuck: Evaluation Pitfalls in Bench2Drive's Closed-Loop Protocol
• Title（参考訳）: Bench2Driveのクローズドループプロトコルにおけるピットフォールの評価
• Abstract要約: 我々は、Bench2Driveの評価プロトコル自体に、その上で得られたモデルを誤って表現できる落とし穴があることを示します。 我々は、その相関を r = 0.06 に削減する補正された距離ベース計量を提案する。 我々はUniADとVADの両方でその効果が著しく異なることを実証し、将来のクローズドループ評価はそれらをチェックするべきだと主張している。
• 参考スコア（独自算出の注目度）: 7.123131368674984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Closed-loop evaluation is widely regarded as a more faithful way to assess end-to-end (E2E) driving models than open-loop evaluation, and Bench2Drive, built on the CARLA simulator, has become the dominant benchmark for it. We show that its evaluation protocol itself contains pitfalls that can misrepresent the models scored on it. Bench2Drive's comfort metric, adapted from nuPlan, has several implementation errors and a segmentation scheme that rewards standing still, so it mostly measures how long a vehicle stays stationary, correlating with stationary time at r = 0.97 across eight models. We propose a corrected, distance-based metric that cuts that correlation to r = 0.06. Under it, the strong driving-score/comfort tradeoff the original metric reports is no longer detectable once models are compared at matched driving speed, which suggests that comfort trades against how fast a model drives rather than against how well it drives. We also uncover two pitfalls in how the harness supplies navigation signals: the default controller can replace a model's own steering with an angle toward the route target point, and the target point supplied at evaluation time can differ substantially from what a model saw in training. We demonstrate both on UniAD and VAD, where their effects differ sharply, and argue that future closed-loop evaluations should check for them. We will release all fixes as standalone code, so corrected comfort scores can be obtained from logged trajectories without re-running closed-loop simulation.
• Abstract（参考訳）: クローズドループ評価はオープンループ評価よりもエンド・ツー・エンド(E2E)駆動モデルを評価するための忠実な方法として広く認められており、CARLAシミュレータ上に構築されたBench2Driveが主要なベンチマークとなっている。 評価プロトコル自体が、その上で得られたモデルを誤って表現できる落とし穴を含んでいることを示す。 Bench2Drive の快適度は nuPlan から派生したもので、いくつかの実装エラーと、静止状態にある車両の滞留時間を測定するセグメンテーション・スキームがある。 我々は、その相関を r = 0.06 に削減する補正された距離ベース計量を提案する。 その下において、オリジナルの指標レポートの強い運転スコア/快適なトレードオフは、モデルが一致した運転速度で比較された場合、もはや検出できない。 デフォルトのコントローラは、モデル自身のステアリングを経路目標点の角度で置き換えることができ、評価時に供給される目標点は、トレーニング中にモデルが見たものとは大きく異なる。 我々はUniADとVADの両方でその効果が著しく異なることを実証し、将来のクローズドループ評価はそれらをチェックするべきだと主張している。 すべての修正をスタンドアロンコードとしてリリースするので、閉じたループシミュレーションを再実行することなく、ログされた軌道から修正された快適なスコアを得ることができる。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Do Better Imagined Rollouts Mean Better Robot Control? A Controlled Study of World-Model Evaluation Under Feedback [2.5209477824050954]
  予測モデルは、固定地平線上でのオープンループ予測精度によってしばしば判断される。 クローズドループ操作では、ロボットが繰り返し行動し、新しい測定値を受け取り、状態推定を更新し、制御を再計算する。 正則な修正が保たれている場合, 長い予測地平線は情報的であり, 補正なしの長時間のロールアウトは閉ループの挙動と大きく異なるランキングを生成できることを示す。
  論文  参考訳（メタデータ） (2026-09-02T16:52:30Z)
• CoLT-Drive: Counterfactual Long-Tail Benchmarking and Knowledge-Preserving Adaptation for Driving Affordance Prediction [27.20821192335003]
  長い尾の自律運転障害はまれな物体認識エラーとみなされることが多い。 我々は、この問題を、モデルがフロントビューイメージ、エゴモーション履歴、ナビゲーションコマンドを構造化された横方向メタアクションにマッピングする、意思決定レベルの駆動能力予測として定式化する。 デプロイ可能な小型のVLMを改善するために,構造化された知覚と意思決定のプロンプトを組み合わせた知識保存適応フレームワークであるKPA,SLERPベースのエキスパートマージ,レギュラー対応のLORA混在モジュールであるRegMoEを提案する。
  論文  参考訳（メタデータ） (2026-08-31T18:44:30Z)
• Pseudo-Simulation for Autonomous Driving [66.1981253104508]
  既存の自動運転車(AV)の評価パラダイムは、重大な制限に直面している。 現実世界の評価は、安全上の懸念と現実主義の欠如のためにしばしば困難である。 オープンループ評価は、一般的に複合的なエラーを見落としているメトリクスに依存する。
  論文  参考訳（メタデータ） (2025-06-04T17:57:53Z)
• Bench2Drive: Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving [59.705635382104454]
  本稿では,E2E-ADシステムのマルチ能力をクローズドループで評価するための最初のベンチマークであるBench2Driveを紹介する。 我々は最先端のE2E-ADモデルを実装し、Bench2Driveで評価し、現状と今後の方向性について洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-06T09:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。