論文の概要: Helen: Optimizing CTR Prediction Models with Frequency-wise Hessian Eigenvalue Regularization

• arxiv url: http://arxiv.org/abs/2403.00798v1
• Date: Fri, 23 Feb 2024 15:00:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 00:12:25.653637
• Title: Helen: Optimizing CTR Prediction Models with Frequency-wise Hessian Eigenvalue Regularization
• Title（参考訳）: ヘレン:周波数ワイドヘシアン固有値正規化を用いたCTR予測モデルの最適化
• Authors: Zirui Zhu, Yong Liu, Zangwei Zheng, Huifeng Guo, Yang You
• Abstract要約: CTR(Click-Through Rate)予測は、オンライン広告とレコメンデーションシナリオにおいて最も重要である。 近年のCTR予測モデルの普及にもかかわらず、性能の改善は限られている。
• 参考スコア（独自算出の注目度）: 22.964109377128523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Click-Through Rate (CTR) prediction holds paramount significance in online advertising and recommendation scenarios. Despite the proliferation of recent CTR prediction models, the improvements in performance have remained limited, as evidenced by open-source benchmark assessments. Current researchers tend to focus on developing new models for various datasets and settings, often neglecting a crucial question: What is the key challenge that truly makes CTR prediction so demanding? In this paper, we approach the problem of CTR prediction from an optimization perspective. We explore the typical data characteristics and optimization statistics of CTR prediction, revealing a strong positive correlation between the top hessian eigenvalue and feature frequency. This correlation implies that frequently occurring features tend to converge towards sharp local minima, ultimately leading to suboptimal performance. Motivated by the recent advancements in sharpness-aware minimization (SAM), which considers the geometric aspects of the loss landscape during optimization, we present a dedicated optimizer crafted for CTR prediction, named Helen. Helen incorporates frequency-wise Hessian eigenvalue regularization, achieved through adaptive perturbations based on normalized feature frequencies. Empirical results under the open-source benchmark framework underscore Helen's effectiveness. It successfully constrains the top eigenvalue of the Hessian matrix and demonstrates a clear advantage over widely used optimization algorithms when applied to seven popular models across three public benchmark datasets on BARS. Our code locates at github.com/NUS-HPC-AI-Lab/Helen.
• Abstract（参考訳）: CTR(Click-Through Rate)予測は、オンライン広告とレコメンデーションシナリオにおいて最も重要である。 最近のCTR予測モデルの普及にもかかわらず、オープンソースのベンチマークアセスメントによって証明されたように、パフォーマンスの改善は制限されている。 現在の研究者は、さまざまなデータセットや設定のための新しいモデルの開発に注力する傾向にあり、重要な疑問を無視することが多い。 本稿では,最適化の観点からCTR予測の問題にアプローチする。 我々は,CTR予測の典型的データ特性と最適化統計を考察し,トップヘッセン固有値と特徴周波数との強い正の相関を明らかにする。 この相関関係は、頻繁に発生する特徴が急激な局所ミニマに向かって収束する傾向にあり、最終的には準最適性能をもたらすことを示唆している。 最適化中の損失景観の幾何学的側面を考慮したシャープネス認識最小化(SAM)の最近の進歩により,我々は,CTR予測のための専用最適化器Helenを提案する。 ヘレンは正規化特徴周波数に基づく適応摂動によって達成される周波数方向のヘッセン固有値正規化を取り入れている。 オープンソースのベンチマークフレームワーク下での実証結果は、Helenの有効性を裏付けるものだ。 これはヘッセン行列の最高固有値の制約に成功し、BARS上の3つの公開ベンチマークデータセットの7つの一般的なモデルに適用した場合、広く使われている最適化アルゴリズムよりも明確な優位性を示す。 私たちのコードはgithub.com/NUS-HPC-AI-Lab/Helenにあります。

関連論文リスト

• Investigating the Robustness of Counterfactual Learning to Rank Models: A Reproducibility Study [61.64685376882383]
  ランク付け学習(CLTR: Counterfactual Learning to rank)は、IRコミュニティにおいて、ログ化された大量のユーザインタラクションデータを活用してランキングモデルをトレーニングする能力において、大きな注目を集めている。 本稿では,複雑かつ多様な状況における既存のCLTRモデルのロバスト性について検討する。 その結果, DLAモデルとIPS-DCMは, PS-PBMやPSSよりも, オフラインの確率推定による堅牢性が高いことがわかった。
  論文  参考訳（メタデータ） (2024-04-04T10:54:38Z)
• MAP: A Model-agnostic Pretraining Framework for Click-through Rate Prediction [39.48740397029264]
  本稿では,多分野分類データに特徴的破損と回復を適用したMAP(Model-Agnostic Pretraining)フレームワークを提案する。 マスク付き特徴予測(RFD)と代替特徴検出(RFD)の2つの実用的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-08-03T12:55:55Z)
• Click-Conversion Multi-Task Model with Position Bias Mitigation for Sponsored Search in eCommerce [51.211924408864355]
  位置認識型クリック変換(PACC)と位置埋め込み(PACC-PE)によるPACCの2つの位置バイアスのない予測モデルを提案する。 Eコマースが支援する製品検索データセットの実験により、提案したモデルではランキングの有効性が向上し、CTRとCVRの予測における位置バイアスを大幅に軽減できることが示された。
  論文  参考訳（メタデータ） (2023-07-29T19:41:16Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Joint Optimization of Ranking and Calibration with Contextualized Hybrid Model [24.66016187602343]
  本稿では,短時間でランキング・アンド・アビリティ(JRC)を最適化する手法を提案する。 JRCは、サンプルのロジット値を異なるラベルで対比することでランキング能力を向上し、ロジットサブトラクションの関数である予測確率を制約する。 JRCはAlibabaのディスプレイ広告プラットフォームにデプロイされており、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-08-12T08:32:13Z)
• Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction [97.99938802797377]
  クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。 近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。 そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T03:28:15Z)
• Rethinking Position Bias Modeling with Knowledge Distillation for CTR Prediction [8.414183573280779]
  本研究では,位置バイアスの影響を緩和し,位置情報を活用してCTR予測を改善する知識蒸留フレームワークを提案する。 提案手法は現実世界のオンライン広告システムに展開され、世界最大の電子商取引プラットフォームの1つで主要なトラフィックを提供する。
  論文  参考訳（メタデータ） (2022-04-01T07:58:38Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Looking at CTR Prediction Again: Is Attention All You Need? [4.873362301533825]
  クリックスルー率(CTR)予測は、ウェブ検索、レコメンデーションシステム、オンライン広告表示における重要な問題です。 経済学において離散選択モデルを用いてCTR予測問題を再定義し,自己認識機構に基づく汎用ニューラルネットワークフレームワークを提案する。 既存のCTR予測モデルのほとんどは、提案された一般的なフレームワークと一致することが判明した。
  論文  参考訳（メタデータ） (2021-05-12T10:27:14Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。