論文の概要: BARS-CTR: Open Benchmarking for Click-Through Rate Prediction

• arxiv url: http://arxiv.org/abs/2009.05794v5
• Date: Thu, 30 Nov 2023 02:01:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 23:39:32.643098
• Title: BARS-CTR: Open Benchmarking for Click-Through Rate Prediction
• Title（参考訳）: BARS-CTR:クリックスルーレート予測のためのオープンベンチマーク
• Authors: Jieming Zhu, Jinyang Liu, Shuai Yang, Qi Zhang, Xiuqiang He
• Abstract要約: クリックスルー率(CTR)予測は多くのアプリケーションにとって重要なタスクである。 近年、CTR予測は学術と産業の両方で広く研究されている。 CTR予測研究には、標準化されたベンチマークと一様評価プロトコルがまだ欠けている。
• 参考スコア（独自算出の注目度）: 30.000261789268063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Click-through rate (CTR) prediction is a critical task for many applications, as its accuracy has a direct impact on user experience and platform revenue. In recent years, CTR prediction has been widely studied in both academia and industry, resulting in a wide variety of CTR prediction models. Unfortunately, there is still a lack of standardized benchmarks and uniform evaluation protocols for CTR prediction research. This leads to non-reproducible or even inconsistent experimental results among existing studies, which largely limits the practical value and potential impact of their research. In this work, we aim to perform open benchmarking for CTR prediction and present a rigorous comparison of different models in a reproducible manner. To this end, we ran over 7,000 experiments for more than 12,000 GPU hours in total to re-evaluate 24 existing models on multiple datasets and settings. Surprisingly, our experiments show that with sufficient hyper-parameter search and model tuning, many deep models have smaller differences than expected. The results also reveal that making real progress on the modeling of CTR prediction is indeed a very challenging research task. We believe that our benchmarking work could not only allow researchers to gauge the effectiveness of new models conveniently but also make them fairly compare with the state of the arts. We have publicly released the benchmarking code, evaluation protocols, and hyper-parameter settings of our work to promote reproducible research in this field.
• Abstract（参考訳）: クリックスルー率(CTR)予測は、ユーザエクスペリエンスとプラットフォーム収益に直接的な影響を与えるため、多くのアプリケーションにとって重要なタスクである。 近年、CTR予測は学術と産業の両方で広く研究されており、様々なCTR予測モデルが生み出されている。 残念ながら、CTR予測研究には標準化されたベンチマークと一様評価プロトコルがまだ欠けている。 これは、既存の研究の非再現性や矛盾した実験結果をもたらし、その研究の実用的価値と潜在的影響を著しく制限する。 本研究では、CTR予測のためのオープンベンチマークを行い、再現可能な方法で異なるモデルの厳密な比較を行う。 この目的のために、合計12,000以上のGPU時間で7000以上の実験を行い、複数のデータセットと設定で24の既存モデルを再評価しました。 驚くべきことに、我々の実験は、十分なハイパーパラメータ探索とモデルチューニングにより、多くの深層モデルが予想よりも小さな差を持つことを示した。 また, ctr予測のモデル化を実際に進めることは, 極めて困難な研究課題であることを明らかにした。 我々のベンチマーク作業は、研究者が新しいモデルの有効性を便利に評価できるだけでなく、芸術の状態をかなり比較できると考えている。 我々は、この分野で再現可能な研究を促進するために、ベンチマークコード、評価プロトコル、ハイパーパラメータ設定を公開しました。

関連論文リスト

• Benchmarking for Deep Uplift Modeling in Online Marketing [17.70084353772874]
  将来性のある手法としての深層揚力モデリング(DUM)は、アカデミアや産業界からの研究を惹きつけている。 現在のDUMには、標準化されたベンチマークと統一された評価プロトコルがまだ欠けている。 DUMのオープンベンチマークと既存モデルとの比較結果を再現可能で均一な方法で提示する。
  論文  参考訳（メタデータ） (2024-06-01T07:23:37Z)
• Investigating the Robustness of Counterfactual Learning to Rank Models: A Reproducibility Study [61.64685376882383]
  ランク付け学習(CLTR: Counterfactual Learning to rank)は、IRコミュニティにおいて、ログ化された大量のユーザインタラクションデータを活用してランキングモデルをトレーニングする能力において、大きな注目を集めている。 本稿では,複雑かつ多様な状況における既存のCLTRモデルのロバスト性について検討する。 その結果, DLAモデルとIPS-DCMは, PS-PBMやPSSよりも, オフラインの確率推定による堅牢性が高いことがわかった。
  論文  参考訳（メタデータ） (2024-04-04T10:54:38Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Small Effect Sizes in Malware Detection? Make Harder Train/Test Splits! [51.668411293817464]
  業界関係者は、モデルが数億台のマシンにデプロイされているため、マルウェア検出精度の小さな改善に気を配っている。 学術研究はしばしば1万のサンプルの順序で公開データセットに制限される。 利用可能なサンプルのプールから難易度ベンチマークを生成するためのアプローチを考案する。
  論文  参考訳（メタデータ） (2023-12-25T21:25:55Z)
• MRCLens: an MRC Dataset Bias Detection Toolkit [82.44296974850639]
  MRCLensは,ユーザがフルモデルをトレーニングする前に,バイアスが存在するかどうかを検出するツールキットである。 ツールキットの導入の便宜のために,MDCにおける共通バイアスの分類も提供する。
  論文  参考訳（メタデータ） (2022-07-18T21:05:39Z)
• A Thorough Examination on Zero-shot Dense Retrieval [84.70868940598143]
  本稿では,高密度検索(DR)モデルのゼロショット能力について,初めて徹底的に検討する。 我々は、ソーストレーニングセットに関連するいくつかの重要な要素の効果を議論し、ターゲットデータセットから潜在的なバイアスを分析し、既存のゼロショットDRモデルをレビューし、比較する。
  論文  参考訳（メタデータ） (2022-04-27T07:59:07Z)
• Click-Through Rate Prediction in Online Advertising: A Literature Review [0.0]
  我々は,最新のCTR予測研究について,系統的な文献レビューを行っている。 現代文献における最先端CTR予測モデルの分類について述べる。 我々は、現在の研究動向、主な課題、今後の今後の展望を、さらなる探査にふさわしいものとみなす。
  論文  参考訳（メタデータ） (2022-02-22T01:05:38Z)
• Adversarial Gradient Driven Exploration for Deep Click-Through Rate Prediction [39.61776002290324]
  textbfAdrial textbfGradientversa Driven textbfExploration (AGE) と呼ばれる新しい探索手法を提案する。 AGEは勾配更新プロセスをシミュレートし、モデルに対する探索項目のサンプルの影響を近似することができる。 本手法の有効性を,オープンアクセス学術データセットで実証した。
  論文  参考訳（メタデータ） (2021-12-21T12:13:07Z)
• Looking at CTR Prediction Again: Is Attention All You Need? [4.873362301533825]
  クリックスルー率(CTR)予測は、ウェブ検索、レコメンデーションシステム、オンライン広告表示における重要な問題です。 経済学において離散選択モデルを用いてCTR予測問題を再定義し,自己認識機構に基づく汎用ニューラルネットワークフレームワークを提案する。 既存のCTR予測モデルのほとんどは、提案された一般的なフレームワークと一致することが判明した。
  論文  参考訳（メタデータ） (2021-05-12T10:27:14Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。