論文の概要: Uncertainty Calibration for Counterfactual Propensity Estimation in Recommendation

• arxiv url: http://arxiv.org/abs/2303.12973v2
• Date: Mon, 15 Jul 2024 01:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 05:28:16.741078
• Title: Uncertainty Calibration for Counterfactual Propensity Estimation in Recommendation
• Title（参考訳）: リコメンデーションにおける非確実性校正
• Authors: Wenbo Hu, Xin Sun, Qiang liu, Le Wu, Liang Wang,
• Abstract要約: inverse propensity score (IPS) は、観測された各インスタンスの予測誤差を重み付けするために用いられる。 IPSベースのレコメンデーションは、確率推定における誤校正によって妨げられる。 本稿では,CVR予測の妥当性に基づくデバイアス化のためのモデルに依存しないキャリブレーションフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 22.67361489565711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-click conversion rate (CVR) is a reliable indicator of online customers' preferences, making it crucial for developing recommender systems. A major challenge in predicting CVR is severe selection bias, arising from users' inherent self-selection behavior and the system's item selection process. To mitigate this issue, the inverse propensity score (IPS) is employed to weight the prediction error of each observed instance. However, current propensity score estimations are unreliable due to the lack of a quality measure. To address this, we evaluate the quality of propensity scores from the perspective of uncertainty calibration, proposing the use of expected calibration error (ECE) as a measure of propensity-score quality. We argue that the performance of IPS-based recommendations is hampered by miscalibration in propensity estimation. We introduce a model-agnostic calibration framework for propensity-based debiasing of CVR predictions. Theoretical analysis on bias and generalization bounds demonstrates the superiority of calibrated propensity estimates over uncalibrated ones. Experiments conducted on the Coat, Yahoo and KuaiRand datasets show improved uncertainty calibration, as evidenced by lower ECE values, leading to enhanced CVR prediction outcomes.
• Abstract（参考訳）: クリック後変換率(CVR)は、オンライン顧客の好みを示す信頼性の高い指標であり、レコメンデーションシステムの開発に不可欠である。 CVR予測における大きな課題は、ユーザの固有の自己選択行動とシステムの項目選択プロセスから生じる、厳しい選択バイアスである。 この問題を緩和するために、観測された各インスタンスの予測誤差を重み付けるために逆確率スコア(IPS)を用いる。 しかし、品質指標が欠如しているため、現在の確率スコア推定は信頼できない。 そこで本研究では,不確実性校正の観点から,適合度スコアの質を評価するとともに,予測校正誤差(ECE)を妥当性スコアの指標として用いることを提案する。 我々は、IPSベースのレコメンデーションのパフォーマンスは、確率推定における誤校正によって妨げられていると論じる。 本稿では,CVR予測の妥当性に基づくデバイアス化のためのモデルに依存しないキャリブレーションフレームワークを提案する。 偏りと一般化境界の理論解析は、校正された確率推定の非校正値に対する優越性を証明している。 Coat、Yahoo、KuaiRandのデータセットで実施された実験では、CE値の低い値によって証明された不確実性の校正が改善され、CVR予測結果が向上した。

関連論文リスト

• Calibrated Probabilistic Forecasts for Arbitrary Sequences [58.54729945445505]
  実際のデータストリームは、分散シフトやフィードバックループ、敵アクターによって予測不可能に変化する可能性がある。 データがどのように進化するかに関わらず、有効な不確実性推定を保証するための予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-27T21:46:42Z)
• Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
  二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。 本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。 その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-06T19:53:00Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Doubly Calibrated Estimator for Recommendation on Data Missing Not At Random [20.889464448762176]
  既存の推定器は誤判定された暗黙の誤りと正当性スコアに依存していると我々は主張する。 本稿では,計算モデルと確率モデルの両方のキャリブレーションを含む二重校正推定器を提案する。
  論文  参考訳（メタデータ） (2024-02-26T05:08:52Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• U-Calibration: Forecasting for an Unknown Agent [29.3181385170725]
  単一のスコアリングルールに対する予測を最適化することは、すべてのエージェントに対して低い後悔を保証できないことを示す。 予測列の最大後悔度に匹敵するU校正と呼ばれる予測を評価するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-06-30T23:05:26Z)
• Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
  本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。 信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
  論文  参考訳（メタデータ） (2023-01-25T19:35:23Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Better Uncertainty Calibration via Proper Scores for Classification and Beyond [15.981380319863527]
  各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。 この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
  論文  参考訳（メタデータ） (2022-03-15T12:46:08Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)
• Understanding and Mitigating the Tradeoff Between Robustness and Accuracy [88.51943635427709]
  逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。 拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
  論文  参考訳（メタデータ） (2020-02-25T08:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。