論文の概要: MLPlatt: Simple Calibration Framework for Ranking Models
- arxiv url: http://arxiv.org/abs/2601.08345v1
- Date: Tue, 13 Jan 2026 09:04:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-14 18:27:19.127619
- Title: MLPlatt: Simple Calibration Framework for Ranking Models
- Title(参考訳): MLPlatt: ランキングモデルのためのシンプルな校正フレームワーク
- Authors: Piotr Bajger, Roman Dusek, Krzysztof Galias, Paweł Młyniec, Aleksander Wawer, Paweł Zawistowski,
- Abstract要約: 本稿では、ランキングモデルのポストホックキャリブレーションの問題に対処する。
本稿では,簡易かつ効果的なランキングモデルキャリブレーション手法について紹介する。
ランク付け品質を損なうことなく高品質なキャリブレーションを実現することができることを示す。
- 参考スコア(独自算出の注目度): 35.224137533638974
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ranking models are extensively used in e-commerce for relevance estimation. These models often suffer from poor interpretability and no scale calibration, particularly when trained with typical ranking loss functions. This paper addresses the problem of post-hoc calibration of ranking models. We introduce MLPlatt: a simple yet effective ranking model calibration method that preserves the item ordering and converts ranker outputs to interpretable click-through rate (CTR) probabilities usable in downstream tasks. The method is context-aware by design and achieves good calibration metrics globally, and within strata corresponding to different values of a selected categorical field (such as user country or device), which is often important from a business perspective of an E-commerce platform. We demonstrate the superiority of MLPlatt over existing approaches on two datasets, achieving an improvement of over 10\% in F-ECE (Field Expected Calibration Error) compared to other methods. Most importantly, we show that high-quality calibration can be achieved without compromising the ranking quality.
- Abstract(参考訳): ランク付けモデルは、関連する推定のためにEコマースで広く使われている。
これらのモデルは、しばしば解釈性に乏しく、特に典型的なランキング損失関数で訓練された場合、スケールキャリブレーションがない。
本稿では、ランキングモデルのポストホックキャリブレーションの問題に対処する。
MLPlattは、アイテムの順序を保ち、ローダ出力を下流タスクで使用可能な解釈可能なクリックスルー率(CTR)確率に変換する、シンプルで効果的なランキングモデルキャリブレーション手法である。
本手法は,Eコマースプラットフォームのビジネスの観点から重要となる,選択したカテゴリフィールド(ユーザ国やデバイスなど)の異なる値に対応する階層内において,優れたキャリブレーション基準を世界規模で達成する。
F-ECE(Field expecteded Calibration Error)において,従来の2つのデータセットに対するアプローチよりもMLPlattの方が優れていることを示す。
最も重要なことは、ランク付け品質を損なうことなく高品質なキャリブレーションが達成できることである。
関連論文リスト
- Scalable Utility-Aware Multiclass Calibration [53.28176049547449]
ユーティリティキャリブレーション(英: Utility calibration)は、特定のユーティリティ関数に対するキャリブレーション誤差を測定する一般的なフレームワークである。
我々は、このフレームワークが既存のキャリブレーションメトリクスを統一し、再解釈する方法を実証する。
論文 参考訳(メタデータ) (2025-10-29T12:32:14Z) - Restoring Calibration for Aligned Large Language Models: A Calibration-Aware Fine-Tuning Approach [34.478524949495345]
大言語モデル(LLM)の成功のための重要な技術である選好アライメント
本稿では,リコメンデーションアライメントがキャリブレーションになぜ影響するか,この問題にどう対処するかを検討する。
論文 参考訳(メタデータ) (2025-05-04T05:42:51Z) - Labels in Extremes: How Well Calibrated are Extreme Multi-label Classifiers? [5.26569785878819]
極端なマルチラベル分類(XMLC)問題は、関連する製品レコメンデーション、大規模ドキュメントのタグ付け、広告予測といった設定で発生する。
本稿では,9つのモデルの体系的評価を提供することで,XMLCのキャリブレーションの現在の状況を確立することを目的とする。
論文 参考訳(メタデータ) (2024-11-06T21:46:23Z) - Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳(メタデータ) (2024-02-21T16:15:20Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳(メタデータ) (2021-04-01T13:55:21Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳(メタデータ) (2021-02-22T07:22:12Z) - Uncertainty Quantification and Deep Ensembles [79.4957965474334]
ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。
そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。
このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
論文 参考訳(メタデータ) (2020-07-17T07:32:24Z) - Multi-Class Uncertainty Calibration via Mutual Information
Maximization-based Binning [8.780958735684958]
ポストホック多クラスキャリブレーションは、ディープニューラルネットワーク予測の信頼度推定を提供する一般的なアプローチである。
近年の研究では、広く使われているスケーリング手法がキャリブレーション誤差を過小評価していることが示されている。
類似クラス間で1つのキャリブレータを共有する共有クラスワイド(sCW)キャリブレーション戦略を提案する。
論文 参考訳(メタデータ) (2020-06-23T15:31:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。