論文の概要: Beyond Infraction Scores: Failure-Boundary Profiles for Closed-Loop Evaluation of Driving and Robot Navigation Agents
- arxiv url: http://arxiv.org/abs/2611.06453v1
- Date: Wed, 04 Nov 2026 12:54:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.112937
- Title: Beyond Infraction Scores: Failure-Boundary Profiles for Closed-Loop Evaluation of Driving and Robot Navigation Agents
- Title(参考訳): 違反スコアを超えて:運転エージェントとロボットナビゲーションエージェントの閉ループ評価のための障害境界プロファイル
- Abstract要約: CARLAランクエージェントのクローズドループ駆動ベンチマークは、障害ペナルティによってルート完了を乗算する駆動スコアによって行われる。
このスコアは、障害物の前で停止するエージェントと、それを通り過ぎるエージェントを区別しません。
本稿では,各シナリオファミリが1つの測定因子を変化させる評価として,フェールバウンダリプロファイルを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Closed-loop driving benchmarks in CARLA rank agents by a driving score that multiplies route completion by an infraction penalty. This score does not distinguish an agent that stops in front of an obstacle from one that pushes past it. In a corridor closed by two parked cars, for example, one agent that drives through with contact averages 52.2 on the blocked widths, while the agents that stop average between 37.8 and 40.6. We propose failure-boundary profiles, an evaluation in which each scenario family varies one measured factor, such as corridor width or the time gap in oncoming traffic, and each variant is certified from measurement as one where the agent should proceed or one where it should stop. Along this axis we estimate two curves per agent, commitment (the probability of attempting the passage) and competence (the probability of passing without contact), and locate where each crosses one half, with intervals that account for the simulator's run-to-run variance. The certified labels also give a summary metric, decision accuracy, which credits clean passes on passable variants and stops on blocked ones. We evaluate seven driving agents on seven CARLA families. The rule-based expert reaches a decision accuracy of 0.74 and TFv6, the highest-scoring learned agent, 0.60. Agents with similar driving scores fail in different ways, and agents that reliably stop at a blocked corridor still rarely wait for a gap in oncoming traffic. We also apply the method, unchanged, to a warehouse robot in Isaac Sim. The navigation policy we test stops at blocked gaps in only one of three families, and two fine-tuned versions of it pass more gaps cleanly but no longer stop at all.
- Abstract(参考訳): CARLAランクエージェントのクローズドループ駆動ベンチマークは、障害ペナルティによってルート完了を乗算する駆動スコアによって行われる。
このスコアは、障害物の前で停止するエージェントと、それを通り過ぎるエージェントを区別しません。
例えば、駐車中の2台の車によって閉じられた廊下では、ブロックされた幅で接触平均52.2で通り抜けるエージェントが1つ、停止するエージェントは37.8から40.6の間である。
本稿では,各シナリオファウンダリープロファイルを提案する。各シナリオファウンダリは,道路幅や対向トラフィックの時間差など,1つの測定要因を変化させるとともに,エージェントが進むべき場所や停止すべき場所として,各変数が測定から認証される。
この軸に沿って、エージェント毎の2つの曲線、コミットメント(通過を試みる確率)、能力(接触せずに通過する確率)を推定し、シミュレータのランランラン分散を考慮した間隔で、それぞれが半分を横切る場所を特定する。
認定されたラベルには、パス可能な変種を清潔にパスし、ブロックされたものを停止する、決定の正確さという要約のメトリックも用意されている。
CARLA7家系の運転エージェントについて検討した。
ルールベースのエキスパートは、最上位の学習エージェントである0.74とTFv6の判定精度が0.60に達する。
同様の運転スコアを持つエージェントは、異なる方法で失敗し、ブロックされた回廊で確実に停止するエージェントは、依然として対向するトラフィックのギャップを待つことはめったにない。
アイザック・シムの倉庫ロボットにもこの方法を適用する。
私たちがテストしたナビゲーションポリシーは、3つのファミリーのうち1つのブロックされたギャップで停止します。
関連論文リスト
- Structured Representation Probing for Risk Anticipation in End-to-End Autonomous Driving [45.62895137747747]
エンドツーエンドの運転ポリシーは、トラフィック、エゴの振る舞い、および道路の制約の構造化された内部表現を形成する。
本研究では,フリーズポリシからアクタ,エゴ,マップ表現を読み取る軽量モニタであるStructured Representation Probe(SRP)を紹介する。
論文 参考訳(メタデータ) (2026-10-27T14:20:15Z) - VehicleArena: A Realistic Urban Environment for Multi-Agent Driving [49.5221375479554]
VehicleArenaは、ダイナミックな共有世界で独立して運用するエージェントを研究するための3D都市走行ベンチマークである。
各エージェントの運転決定は、周囲のエージェントに対するトラフィックフロー、遅延、リスク、およびその後の観察を再形成することができる。
最も高い到着率はシングルエージェントタスクで65.0%、マルチエージェントタスクで65.6%である。
論文 参考訳(メタデータ) (2026-09-28T09:48:11Z) - What Confidence Routing Is Actually Doing: Auditing Routing, Calibration, and Commitment in Multi-Agent Deliberation [2.6977334313650565]
マルチエージェント設計では、エージェントに対して信頼性を報告し、最高のエージェントが次に話すように要求する。
トラヒックレベルの3つの質問を分離することにより、信頼性が低下した放送プロトコルを監査する。
論文 参考訳(メタデータ) (2026-08-18T21:39:27Z) - Stop Means Stop: Measuring and Repairing the Enforcement Gap in Agent-Framework Control Primitives [0.0]
この契約は、広く使用されている6つのオープンソースフレームワークのどれにも当てはまらない。
モデルフリーディファレンシャルプローブは、繰り返し発生するシリングリークを分離する。
SoundGATEは環境外部のRustゲートであり、すべての副作用を認めなければならない。
論文 参考訳(メタデータ) (2026-07-15T05:55:38Z) - Strained Coherence: A Pre-Failure Signal in Coding Agent Execution Trajectories [0.0]
LLMベースのコーディングエージェントは、時には自身の推論で問題を認識し、いずれにせよ前進する。
我々はClaude Sonnet 4.6のジャッジを構築し、完全なトラジェクトリとフラグがパターンの発生する場所にまたがる。
Qwen3.5-35B-A3Bのバックボーンを用いて44個の終端ベンチ2軌道上で評価を行った。
論文 参考訳(メタデータ) (2026-06-05T22:52:16Z) - iPLAN: Intent-Aware Planning in Heterogeneous Traffic via Distributed
Multi-Agent Reinforcement Learning [57.24340061741223]
本稿では,高密度および不均一な交通シナリオにおける軌跡や意図を予測できる分散マルチエージェント強化学習(MARL)アルゴリズムを提案する。
インテント対応プランニングのアプローチであるiPLANにより、エージェントは近くのドライバーの意図をローカルな観察からのみ推測できる。
論文 参考訳(メタデータ) (2023-06-09T20:12:02Z) - Communication-Critical Planning via Multi-Agent Trajectory Exchange [21.923724399511798]
本稿では,統合マルチエージェント認識と計画の課題に対処する。
これは、コネクテッド・自動運転車の衝突のないナビゲーションという現実の課題に関連している。
論文 参考訳(メタデータ) (2023-03-10T16:59:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。