論文の概要: You Should Be Properly Scoring Your Odometry

• arxiv url: http://arxiv.org/abs/2609.25900v1
• Date: Tue, 22 Sep 2026 09:03:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.305788
• Title: You Should Be Properly Scoring Your Odometry
• Title（参考訳）: オードメトリを適度に検査するべきだ
• Abstract要約: 2つの推定器が、少なくとも1つが根拠の真理を示さずに、過信を露呈できることが示される。 ケーススタディでは,Smfevalを用いて,地上のLiDAR慣性眼振の翻訳成分の不確かさを評価する。
• 参考スコア（独自算出の注目度）: 1.554831836850549
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When we evaluate the performance of our odometry, it is common practice to score the estimated track against a ground truth. Unfortunately, scoring uses point metrics, such as the root mean square error, that ignore the covariance matrix which estimators like filters and smoothers already report. Using the covariance matters for two reasons. First, the covariance encodes the estimator's uncertainty, so it tells us whether the estimator trusts its own output. An overconfident estimator will not report itself lost. Second, the covariance weights the error in each direction of the estimate. Without the covariance, an estimator is unduly penalized for a high error in an uncertain direction. Instead of point metrics, we should use strictly proper scoring rules. These rules score the estimate together with its reported uncertainty. Strictly proper scoring rules recover the point metrics when no covariance is reported, and they diagnose covariance inconsistency when covariance is reported. Using a one-sided pairwise test, we show that two estimators can expose overconfidence in at least one of them without a ground truth. Strictly proper scoring rules and our pairwise test are available in our open-source framework smfeval. As a case study, we use smfeval to assess the uncertainty quality of the translational component of ground-based LiDAR-inertial odometry. Across four filters we find overconfidence - the worst case reports centimeter certainty with kilometer error. Knowing the filters are overconfident, we investigate the mechanism. The investigation traces overconfidence to filters crediting LiDAR measurements with more new information than they carry.
• Abstract（参考訳）: 計測性能を評価する際には,実測値と実測値とを一致させることが一般的である。 残念ながら、スコアリングにはルート平均二乗誤差などのポイントメトリクスが使われており、フィルタやスムーダーなどの推定器が既に報告している共分散行列を無視している。 共分散は2つの理由がある。 まず、共分散は推定器の不確かさを符号化するので、推定器が自身の出力を信頼しているかを教えてくれる。 過度に信頼された推定者は、失ったことを報告しない。 第二に、共分散は推定のそれぞれの方向の誤差を重み付けする。 共分散がなければ、推定器は不確実な方向に高い誤差のために不規則にペナル化される。 ポイントメトリクスの代わりに、厳密な適切なスコアリングルールを使うべきです。 これらのルールは、報告された不確実性と共に見積もりをスコア付けします。 厳密な適切なスコアリングルールは、共分散が報告されないときにポイントメトリクスを回復し、共分散が報告されたときに共分散の不一致を診断する。 片側のペアワイズテストを用いて、2つの推定器が、少なくとも一方において、基礎的な真理を示さずに過信を露呈できることを示す。 厳密に適切なスコアリングルールとペアワイズテストは、オープンソースのフレームワークsmfevalで利用可能です。 ケーススタディでは,Smfevalを用いて,地上のLiDAR慣性眼振の翻訳成分の不確かさを評価する。 4つのフィルターで、自信過剰が判明します。最悪のケースでは、キロエラーでセンチメートルの確実性を報告します。 フィルタが過度に信頼されていることを知り,そのメカニズムについて検討する。 この調査は、LiDAR測定の信用度を、輸送する以上の新しい情報でフィルターする、という過信を辿っている。

関連論文リスト

• When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide [0.0]
  5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。 ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。 結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
  論文  参考訳（メタデータ） (2026-08-12T18:10:10Z)
• Hidden Measurement Error in LLM Pipelines Distorts Annotation, Evaluation, and Benchmarking [0.20305676256390937]
  本論文は,不確実性を情報源に分解し,より多くのデータで縮小する分散を識別し,総誤差を低減するためにデザインスタディ・プロジェクションを用いる。 イデオロギーアノテーション、安全性分類、MMLUベンチマーク、および人間公認プロパガンダ監査へのアプローチの適用により、ドメインとスコアリング方法によって異なる支配的な分散源が明らかになる。
  論文  参考訳（メタデータ） (2026-04-13T14:58:15Z)
• Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
  我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。 Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。 この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
  論文  参考訳（メタデータ） (2025-10-07T14:46:12Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
  深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
  論文  参考訳（メタデータ） (2025-02-14T22:37:11Z)
• Uncertainty Quantification Metrics for Deep Regression [1.1999555634662633]
  スカラー化誤差, 誤差, スピアマンランク相関, 負対数類似度について検討した。 これらの指標が4つの典型的な不確実性の下でどのように振る舞うかを考察する。 以上の結果から,Errorは最も安定かつ解釈可能な指標であるが,AUSEとNLLにもそれぞれのユースケースが存在することが示唆された。
  論文  参考訳（メタデータ） (2024-05-07T12:46:45Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。