論文の概要: Unconstrained Monotonic Calibration of Predictions in Deep Ranking Systems
- arxiv url: http://arxiv.org/abs/2504.14243v1
- Date: Sat, 19 Apr 2025 09:35:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-30 03:53:08.285097
- Title: Unconstrained Monotonic Calibration of Predictions in Deep Ranking Systems
- Title（参考訳）: 深部ランキングシステムにおける予測の非拘束単調キャリブレーション
- Authors: Yimeng Bai, Shunyu Zhang, Yang Zhang, Hu Liu, Wentian Bao, Enyun Yu, Fuli Feng, Wenwu Ou,
- Abstract要約: ランク付けモデルの絶対値は、特定の下流タスクに必須である。
既存のキャリブレーション手法では、元の予測を調整するために順序保存特性を持つ事前定義された変換関数を用いるのが一般的である。
本研究では,任意の単調関数を学習可能なunconstrained Monotonic Neural Network (UMNN) を用いたキャリブレータの実装を提案する。
このアプローチはキャリブレータの制約を著しく緩和し、元の予測を過度に歪ませることを避けながら、柔軟性と表現性を向上する。
- 参考スコア（独自算出の注目度）: 29.90543561470141
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ranking models primarily focus on modeling the relative order of predictions while often neglecting the significance of the accuracy of their absolute values. However, accurate absolute values are essential for certain downstream tasks, necessitating the calibration of the original predictions. To address this, existing calibration approaches typically employ predefined transformation functions with order-preserving properties to adjust the original predictions. Unfortunately, these functions often adhere to fixed forms, such as piece-wise linear functions, which exhibit limited expressiveness and flexibility, thereby constraining their effectiveness in complex calibration scenarios. To mitigate this issue, we propose implementing a calibrator using an Unconstrained Monotonic Neural Network (UMNN), which can learn arbitrary monotonic functions with great modeling power. This approach significantly relaxes the constraints on the calibrator, improving its flexibility and expressiveness while avoiding excessively distorting the original predictions by requiring monotonicity. Furthermore, to optimize this highly flexible network for calibration, we introduce a novel additional loss function termed Smooth Calibration Loss (SCLoss), which aims to fulfill a necessary condition for achieving the ideal calibration state. Extensive offline experiments confirm the effectiveness of our method in achieving superior calibration performance. Moreover, deployment in Kuaishou's large-scale online video ranking system demonstrates that the method's calibration improvements translate into enhanced business metrics. The source code is available at https://github.com/baiyimeng/UMC.
- Abstract（参考訳）: ランク付けモデルは、主に相対的な予測順序をモデル化することに焦点を当てる一方で、絶対値の正確さを無視することが多い。
しかし、特定の下流タスクには正確な絶対値が必要であり、元の予測の校正が必要である。
これを解決するために、既存のキャリブレーション手法では、元の予測を調整するために順序保存特性を持つ事前定義された変換関数を用いるのが一般的である。
残念なことに、これらの関数は、表現性や柔軟性が制限され、複雑なキャリブレーションシナリオにおけるそれらの効果が制限される、断片的線形関数のような固定形式に固執することが多い。
この問題を軽減するために,制約のないモノトニックニューラルネットワーク(UMNN)を用いたキャリブレータの実装を提案する。
このアプローチはキャリブレータの制約を著しく緩和し、柔軟性と表現性を向上し、単調性を必要とすることによって元の予測を過度に歪ませることを避ける。
さらに, キャリブレーションのための高柔軟性ネットワークを最適化するために, 理想的なキャリブレーション状態を達成するために必要な条件を満たすことを目的とした, Smooth Calibration Loss (SCLoss) と呼ばれる新たな損失関数を導入する。
大規模なオフライン実験により, キャリブレーション性能に優れた手法の有効性が確認された。
さらに,Kaishouの大規模オンラインビデオランキングシステムへの展開は,キャリブレーションの改善がビジネスメトリクスの強化につながることを示す。
ソースコードはhttps://github.com/baiyimeng/UMC.comで入手できる。
関連論文リスト
- Calibrating Deep Neural Network using Euclidean Distance [5.675312975435121]
機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。
高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。
本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
論文 参考訳（メタデータ） (2024-10-23T23:06:50Z) - Feature Clipping for Uncertainty Calibration [24.465567005078135]
現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。
この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。
FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
論文 参考訳（メタデータ） (2024-10-16T06:44:35Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Faster Recalibration of an Online Predictor via Approachability [12.234317585724868]
本稿では,オンラインの予測モデルを校正せず,その予測を校正した予測に変換する手法を提案する。
提案アルゴリズムは,従来の手法であるarXiv:1607.03594よりも高速にキャリブレーションと精度を達成し,オンライン設定におけるキャリブレーション誤差と精度との柔軟なトレードオフを提供する最初のアルゴリズムである。
論文 参考訳（メタデータ） (2023-10-25T20:59:48Z) - Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。
本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。
我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文 参考訳（メタデータ） (2023-02-23T12:17:36Z) - The Devil is in the Margin: Margin-based Label Smoothing for Network
Calibration [21.63888208442176]
ディープニューラルネットワークの優位な性能にもかかわらず、最近の研究では、それらが十分に校正されていないことが示されている。
現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。
我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
論文 参考訳（メタデータ） (2021-11-30T14:21:47Z) - Meta-Calibration: Learning of Model Calibration Using Differentiable
Expected Calibration Error [46.12703434199988]
我々は、キャリブレーション品質を直接最適化できる、期待キャリブレーション誤差(DECE)のための新しい微分可能なサロゲートを導入する。
また、DECEを用いて検証セットの校正を最適化するメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-17T15:47:50Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳（メタデータ） (2021-06-17T11:04:14Z) - Parameterized Temperature Scaling for Boosting the Expressive Power in
Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。
最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。
当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2021-02-24T10:18:30Z) - Post-hoc Calibration of Neural Networks by g-Layers [51.42640515410253]
近年、ニューラルネットワークの校正に関する研究が急増している。
負ログライクリーフ(NLL)の最小化は、グローバルな最適化が達成されれば、トレーニングセット上の校正ネットワークにつながることが知られている。
基本ネットワーク (f$) が NLL のグローバルな最適化に繋がらず,追加レイヤ (g$) を追加し,パラメータを$g$ 1 に最適化することで NLL を最小化することで,キャリブレーションネットワークが得られることを示す。
論文 参考訳（メタデータ） (2020-06-23T07:55:10Z) - Intra Order-preserving Functions for Calibration of Multi-Class Neural
Networks [54.23874144090228]
一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。
以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。
本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-15T12:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。