論文の概要: Post-Calibration Reliability Reranking of Relevance Decisions via Label-wise Monotone Projection

• arxiv url: http://arxiv.org/abs/2608.10406v1
• Date: Tue, 11 Aug 2026 02:51:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.874588
• Title: Post-Calibration Reliability Reranking of Relevance Decisions via Label-wise Monotone Projection
• Title（参考訳）: ラベルワイドモノトン投影による相関決定の校正後の信頼性向上
• Abstract要約: Web検索、製品検索、質問応答検索システムは、関連ラベルと信頼度スコアを各クエリ候補ペアに割り当てることが多い。 不正な信頼がシステムが誤った予測を過度に信頼したり、不必要に正しい予測を遅らせたりする可能性があるため、ポストホックキャリブレーションが必要である。 このギャップをラベルワイドモノトン信頼性投影 (MRP) で解決し、ラベルワイドモノトン関数を学習し、信頼度を正しさの信頼性にマップする。
• 参考スコア（独自算出の注目度）: 35.67041829703622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Web search, product search, and question-answering retrieval systems often assign a relevance label and confidence score to each query-candidate pair. The relevance label describes how well a page, product, or passage matches the query, while the confidence often guides downstream use or fallback decisions. Post-hoc calibration is therefore needed because misaligned confidence can make systems over-trust wrong predictions or unnecessarily defer correct ones. However, calibration mainly aligns confidence with average correctness, and does not remove predicted-label-dependent reliability differences that remain within the same calibrated confidence level. We address this gap with Label-wise Monotone Reliability Projection (MRP), which learns label-wise monotone functions that map calibrated confidence to correctness reliability while preserving the original predicted labels and class probabilities. The resulting reliability score reranks fixed predictions according to residual risk. Across six information access relevance datasets and multiple post-hoc calibrators, MRP improves reliability reranking and average fallback utility while preserving full-coverage accuracy and ECE. Structural ablations show that the main gains come from label-wise residual reliability rather than from global confidence remapping. We further analyze when MRP reliability scores can be embedded back into top-label probability geometry, showing that this projection is useful as a compatibility analysis but is distinct from the main reliability-reranking objective. The implementation will be made publicly available.
• Abstract（参考訳）: Web検索、製品検索、質問応答検索システムは、関連ラベルと信頼度スコアを各クエリ候補ペアに割り当てることが多い。 関連ラベルには、ページ、製品、またはパスがクエリとどの程度うまく一致しているかが記述されているが、信頼性は、ダウンストリームの使用やフォールバックの決定を導くことが多い。 したがって、不一致の信頼がシステムが過度に誤った予測をしたり、不必要に正しい予測を遅らせたりする可能性があるため、ポストホック校正が必要である。 しかし、キャリブレーションは主に平均的な正確さと信頼を一致させ、同じキャリブレーションされた信頼レベル内にある予測ラベル依存の信頼性差を除去しない。 このギャップをラベルワイズ・モノトン信頼性投影(MRP)で解決し、ラベルワイズ・モノトン信頼度を正当性信頼性にマップするラベルワイズ・モノトン関数を学習し、元のラベルとクラス確率を保存する。 結果の信頼性スコアは、残余のリスクに応じて、固定された予測を再現する。 6つの情報アクセス関連データセットと複数のポストホックキャリブレータにまたがって、MRPは完全なカバレッジ精度とECEを維持しながら、信頼性の向上と平均フォールバックユーティリティを改善している。 構造的な改善は、大きな利益は、グローバルな信頼の再マッピングではなく、ラベル単位の信頼性によるものであることを示している。 さらに、MPPの信頼性スコアをトップラベルの確率幾何学に埋め込むことができ、このプロジェクションが互換性解析として有用であるが、信頼性を優先する主な目的とは異なっていることを示す。 実装は公開されます。

関連論文リスト

• From token probabilities to calibrated confidence: An empirical study of mathematical question answering [1.0032961794537367]
  以前の研究によると、トークンの確率は過信されることが多い。 トークン確率を元の世代から再利用するシングルパス推定器とマルチパス推定器を比較した。 完全列上の集合トークン確率は、正しい世代と不正確な世代の間に小さいが一貫した差を捉えている。
  論文  参考訳（メタデータ） (2026-08-08T00:00:19Z)
• Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
  本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。 画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
  論文  参考訳（メタデータ） (2026-07-29T05:16:59Z)
• Beyond Output-Space Calibration: Spectral Evidence Bundling for Selective Reliability Estimation in Time-Series Classification [26.80740674805048]
  時系列分類のポストホック校正は通常、出力スコアを再マップするが、配置決定は現在の時間信号によって確実な予測が支持されるかどうかに依存する。 同一の信頼値が異なる時間的サポートを隠蔽し、平均キャリブレーションは偽の高信頼誤差を見逃し、出力空間再校正は限られた入力リンク監査性を提供する。 信頼すべきかどうかを推定しながら、バックボーンの予測を一定に保ちつつ、バリデーション付き固定ラベル信頼性ポリシーを導入する。
  論文  参考訳（メタデータ） (2026-06-29T01:31:00Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
  既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。 モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。 我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
  論文  参考訳（メタデータ） (2026-03-06T04:03:13Z)
• A Confidence-Variance Theory for Pseudo-Label Selection in Semi-Supervised Learning [15.149171763610662]
  本稿では,疑似ラベル選択のための基本的共同信頼性基準を提供する信頼分散(CoVar)理論フレームワークを提案する。 信頼性の高い擬似ラベルは高いMCと低いRCVの両方を持つべきであり,信頼性が向上するにつれてRCVの影響が増大することを示す。 我々は,CoVarをプラグインモジュールとして,半教師付きセマンティックセマンティックセグメンテーションや画像分類手法に統合する。
  論文  参考訳（メタデータ） (2026-01-16T02:51:59Z)
• Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
  異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。 UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。 ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2025-09-01T13:14:58Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。