論文の概要: Confidence-Aware Multi-Field Model Calibration

• arxiv url: http://arxiv.org/abs/2402.17655v2
• Date: Tue, 21 May 2024 16:22:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 18:22:08.303359
• Title: Confidence-Aware Multi-Field Model Calibration
• Title（参考訳）: 信頼度を考慮したマルチフィールドモデル校正
• Authors: Yuang Zhao, Chuhan Wu, Qinglin Jia, Hong Zhu, Jia Yan, Libin Zong, Linxuan Zhang, Zhenhua Dong, Muyu Zhang,
• Abstract要約: フィールド対応キャリブレーションは、異なる特徴フィールド値のモデル出力を調整することで、きめ細かい広告要求を満たすことができる。 本稿では,サンプル統計から得られた信頼度に基づいてキャリブレーション強度を適応的に調整する,信頼性を考慮したマルチフィールドキャリブレーション手法を提案する。
• 参考スコア（独自算出の注目度）: 39.44356123378625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurately predicting the probabilities of user feedback, such as clicks and conversions, is critical for advertisement ranking and bidding. However, there often exist unwanted mismatches between predicted probabilities and true likelihoods due to the rapid shift of data distributions and intrinsic model biases. Calibration aims to address this issue by post-processing model predictions, and field-aware calibration can adjust model output on different feature field values to satisfy fine-grained advertising demands. Unfortunately, the observed samples corresponding to certain field values can be seriously limited to make confident calibrations, which may yield bias amplification and online disturbance. In this paper, we propose a confidence-aware multi-field calibration method, which adaptively adjusts the calibration intensity based on confidence levels derived from sample statistics. It also utilizes multiple fields for joint model calibration according to their importance to mitigate the impact of data sparsity on a single field. Extensive offline and online experiments show the superiority of our method in boosting advertising performance and reducing prediction deviations.
• Abstract（参考訳）: クリックやコンバージョンなどのユーザフィードバックの確率を正確に予測することは、広告のランク付けや入札に不可欠である。 しかし、データ分布の急激なシフトと本質的なモデルバイアスにより、予測される確率と真の可能性の間には、望ましくないミスマッチがしばしば存在する。 キャリブレーションは、モデル予測の後処理によってこの問題に対処することを目的としており、フィールド認識キャリブレーションは、異なる特徴フィールド値のモデル出力を調整することで、きめ細かい広告要求を満たすことができる。 残念ながら、特定のフィールド値に対応する観測サンプルは、確実な校正を行うために深刻な制限を受けることができ、バイアス増幅とオンラインの混乱をもたらす可能性がある。 本稿では,サンプル統計から得られた信頼度に基づいて,キャリブレーション強度を適応的に調整する,信頼性を考慮したマルチフィールドキャリブレーション手法を提案する。 また、複数のフィールドを結合モデルのキャリブレーションに利用し、1つのフィールドにおけるデータ空間の影響を軽減することが重要である。 大規模なオフラインおよびオンライン実験は、広告性能の向上と予測偏差の低減において、我々の手法の優位性を示している。

関連論文リスト

• Optimizing Estimators of Squared Calibration Errors in Classification [2.3020018305241337]
  本稿では,2乗キャリブレーション誤差の推定器の比較と最適化を可能にする平均二乗誤差に基づくリスクを提案する。 キャリブレーション誤差を推定する際のトレーニングバリデーションテストパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:58:06Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Variable-Based Calibration for Machine Learning Classifiers [11.9995808096481]
  モデルのキャリブレーション特性を特徴付けるために,変数ベースのキャリブレーションの概念を導入する。 ほぼ完全なキャリブレーション誤差を持つモデルでは,データの特徴の関数としてかなりの誤校正が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-09-30T00:49:31Z)
• Calibrate: Interactive Analysis of Probabilistic Model Output [5.444048397001003]
  従来の手法の欠点に耐性のある,インタラクティブな信頼性図であるCalibrateを提示する。 実世界のデータと合成データの両方のユースケースを通じて、Calibrateの実用性を実証する。
  論文  参考訳（メタデータ） (2022-07-27T20:01:27Z)
• Posterior Probability Matters: Doubly-Adaptive Calibration for Neural Predictions in Online Advertising [29.80454356173723]
  フィールドレベルのキャリブレーションはきめ細やかで実用的だ。 AdaCalibは、モデル予測をキャリブレーションするためにイソトニック関数ファミリーを学ぶ。 実験では、AdaCalibが校正性能を大幅に改善することを確認した。
  論文  参考訳（メタデータ） (2022-05-15T14:27:19Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。