論文の概要: When an Evaluation Rule Writes Training Labels: Measuring Human-Reference Forgiveness in NAVSIM
- arxiv url: http://arxiv.org/abs/2609.33189v1
- Date: Sun, 27 Sep 2026 04:12:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 02:20:48.088933
- Title: When an Evaluation Rule Writes Training Labels: Measuring Human-Reference Forgiveness in NAVSIM
- Title（参考訳）: 評価ルールがトレーニングラベルを書くとき:NAVSIMにおける人間関係の強制力の測定
- Abstract要約: NAVSIMの著者はこの人間関係の許諾を導入し、1つの軌道を採点する際の文脈的に正当化された操作を罰することを避けた。
ラベル生成では、パスする16,384の候補を全列に設定する。
オーバライト前のターゲットと、すべての103,288のナビトレインシーンでリリースされたラベルを比較します。
- 参考スコア（独自算出の注目度）: 8.728235331572739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When the human reference scores zero on a metric, the released GTRS-Dense label generator for NAVSIM marks every candidate trajectory in the scene as passing it. NAVSIM's authors introduced this human-reference forgiveness to avoid penalizing contextually justified maneuvers when scoring one trajectory, and warned that it could overlook important failures. In label generation it sets a whole column of 16,384 candidate targets to passing. To measure the consequences for supervision, we re-run the generator with the overwrite disabled and compare the pre-overwrite targets with the released labels on all 103,288 navtrain scenes. The rule erases a candidate distinction that the training loss reads on 11,237 of them (10.8793%). Firing usually changes most of a column: lane keeping carries 9,982 of the 13,042 forgiven loss columns, and its median forgiven column had 14,391 of 16,384 candidates failing before the overwrite. On held-out navtest scenes forgiven on lane keeping, the released lane-keeping head's median AUC against the pre-overwrite outcome is 0.7095; on unforgiven scenes matched on failing-candidate count it is 0.9807. For the Hydra-MDP checkpoint released with GTRS, whose configuration takes the same label file, the two values are 0.6627 and 0.9761. Continuing the released GTRS-Dense checkpoint for 300 optimizer steps with three paired seeds, we observe the forgiven-scene AUC 0.1086-0.1251 higher with pre-overwrite than with published targets, and a narrower gap between matched groups, still above zero. Scoring with forgiveness disabled, we observe lane keeping higher by 2.478-3.524 points on navtest scenes forgiven on any of five loss metrics, with lower adjacent-frame plan consistency. Both changes are larger there than on the rest. EPDMS, scored the same way, does not separate the two target sets.
- Abstract（参考訳）: 人間の基準がメートル法でゼロとなると、NAVSIM用のリリースされたGTRS-Denseラベルジェネレータは、シーン内のすべての候補軌跡を通過としてマークする。
NAVSIMの著者はこの人間関係の許しを導入し、1つの軌道を採点するときに文脈的に正当化された操作を罰することを避け、重要な失敗を見逃す可能性があると警告した。
ラベル生成では、パスする16,384の候補を全列に設定する。
監視の結果を測定するため,オーバーライト不能なジェネレータを再実行し,オーバライト前のターゲットを103,288のナヴトレインシーンでリリースしたラベルと比較する。
この規則は、トレーニング損失が11,237件(10.8793%)で読み取れるという候補の区別を消去する。
幹線道路は13,042本の損失列のうち9,982本の損失列を持ち、その中央の許容列は16,384人の候補者のうち14,391本が上書きの前に失敗していた。
レーンキーピングで許されるナヴテストシーンでは、解放されたレーンキーピングヘッドの中央値AUCは、前書き結果に対する0.7095であり、未保存のシーンでは、失敗候補数と一致し、0.9807である。
GTRSでリリースされたHydra-MDPチェックポイントでは、2つの値は0.6627と0.9761である。
得られたGTRS-Denseチェックポイントは, 3対の種子を用いた300段の最適化を行い, AUC 0.1086-0.1251は, 公開目標よりも上書きされ, 一致群間の差は狭く, まだ0以上である。
許しを無効にすることで,5つの損失指標のいずれかで許されるナビストシーンにおいて,車線が2.478-3.524ポイント高く維持されるのを観察し,隣接するフレーム計画の整合性が低くなった。
どちらの変更も他の変更よりも大きい。
EPDMSも同様に得点し、2つのターゲットセットを分離しない。
関連論文リスト
- QAM: Quadratic-Accurate Checkpoint Merging via Sequential Consistency [44.9106079497003]
保存されたチェックポイントはトレーニングの軌道に沿って状態を記録しますが、通常、異なるスケジュールで訪問される状態の更新を判断しません。
これらのチェックポイントが、所定の更新強度でシーケンシャル参照のエンドポイントをいかに正確に再構築できるかを検討する。
論文 参考訳（メタデータ） (2026-09-28T13:39:41Z) - Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。
我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
論文 参考訳（メタデータ） (2026-09-27T13:01:02Z) - The Filter Metric is Safety-Critical: Phantom Advantages in Group-Relative RL under Shaped Rewards [1.667501390377158]
グループ相対的なポリシー最適化は、動的サンプリングによって非コントラストのロールアウトグループを捨てることができる。
我々は,複合形状の報酬の下で,計量述語ミスマッチを同定し,定量化する。
論文 参考訳（メタデータ） (2026-09-12T10:36:55Z) - DriftNet: A Dual-Head Trajectory Transformer for Detecting and Localizing Prompt Injection in LLM Agents [0.0]
オペレーターは、攻撃がどこから入ったか、どのステップが破損したか、そして明らかな毒が抵抗されたかの3つの事実を必要とします。
DriftNetは2つのヘッドトラジェクトリ変換器で、ログ化されたツール呼び出しトラジェクトリを読み出し、1つのフォワードパスで3つの質問すべてに答える。
我々の知る限り、このジョイント出力を発生させた最初の検出器である。
論文 参考訳（メタデータ） (2026-09-09T22:52:23Z) - Unmatched Does Not Mean False: Incomplete Reference Sets Can Reverse Calibration Rankings in Open-Ended Theory-of-Mind Tracking [0.5735035463793009]
Open-ended Theory-of-Mind (ToM) トラッカーは有限参照を欠く有効な信念を出力する。
有限参照+マーチャントパイプラインは、不正な出力をマークし、適切なスコアモデル選択をリバース可能なプロキシラベルを生成する。
論文 参考訳（メタデータ） (2026-08-26T11:36:31Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Measuring the Wrong Thing: Internal Harmfulness Scores Anti-Rank Successful Jailbreaks [8.249133191294703]
内部安全スコアは、テキストが生成される前にプロンプトを判断する。
間違った量を測定するスコアに調整されたフィルターは、いずれにせよ失敗した攻撃に対して偽陽性の予算を費やす。
固定コンテンツ独立計測座標を提供するアクティブアテンション・プロービングを導入する。
論文 参考訳（メタデータ） (2026-08-10T14:05:32Z) - Which Values Do LLMs Confuse? A Schwartz-Based Recognition Study [32.505127447635864]
シュワルツの10つの基本値に対するトップ1認識の制御について検討した。
我々は,21の命令調整LDM動作を定位応答プロトコルで評価する。
モデルはしばしば正しいモチベーション領域を見つけ、近い選択肢を不安定にランク付けする。
論文 参考訳（メタデータ） (2026-07-22T15:22:14Z) - Scaling Author Identity Disambiguation to the World of Code: A Methodology [2.788646205877688]
本稿では,WoC (World of Code) コレクション(バージョン V2604, バージョン V2604, 6B コミット上の 107M の異なる著者文字列)を標準人物にエイリアスするための方法論について述べる。
このスケールでは、中心的な問題はマージの過大さであり、マージの欠落ではない。
デプロイされた設計の背後にある完全な実験記録(失敗を含む20以上の実験を含む)を報告する。
論文 参考訳（メタデータ） (2026-07-08T02:30:26Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。
NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
論文 参考訳（メタデータ） (2025-11-12T23:09:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。