論文の概要: The Effects of Data Split Strategies on the Offline Experiments for CTR Prediction

• arxiv url: http://arxiv.org/abs/2406.18320v1
• Date: Wed, 26 Jun 2024 13:01:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 21:11:29.639459
• Title: The Effects of Data Split Strategies on the Offline Experiments for CTR Prediction
• Title（参考訳）: CTR予測のためのオフライン実験におけるデータ分割戦略の効果
• Authors: Ramazan Tarik Turksoy, Beyza Turkmen,
• Abstract要約: 本研究の目的は,現在のオフライン評価手法と実世界のユースケースの矛盾に対処することである。 大規模なオープンベンチマークデータセットであるCriteo上で、ランダムスプリットとテンポラルスプリットの両方を用いて広範な実験を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Click-through rate (CTR) prediction is a crucial task in online advertising to recommend products that users are likely to be interested in. To identify the best-performing models, rigorous model evaluation is necessary. Offline experimentation plays a significant role in selecting models for live user-item interactions, despite the value of online experimentation like A/B testing, which has its own limitations and risks. Often, the correlation between offline performance metrics and actual online model performance is inadequate. One main reason for this discrepancy is the common practice of using random splits to create training, validation, and test datasets in CTR prediction. In contrast, real-world CTR prediction follows a temporal order. Therefore, the methodology used in offline evaluation, particularly the data splitting strategy, is crucial. This study aims to address the inconsistency between current offline evaluation methods and real-world use cases, by focusing on data splitting strategies. To examine the impact of different data split strategies on offline performance, we conduct extensive experiments using both random and temporal splits on a large open benchmark dataset, Criteo.
• Abstract（参考訳）: クリックスルー率(CTR)予測は、ユーザーが興味を持つであろう商品を推薦するオンライン広告において重要なタスクである。 最も優れたモデルを特定するためには厳密なモデル評価が必要である。 オフライン実験は、独自の制限とリスクを持つA/Bテストのようなオンライン実験の価値にもかかわらず、ライブユーザとイテムのインタラクションのためのモデルを選択する上で重要な役割を果たす。 多くの場合、オフラインのパフォーマンス指標と実際のオンラインモデルのパフォーマンスの相関は不十分である。 この違いの主な理由は、CTR予測において、ランダムスプリットを使用してトレーニング、検証、テストデータセットを作成する一般的なプラクティスである。 対照的に、現実世界のCTR予測は時間順に従う。 したがって、オフライン評価、特にデータ分割戦略で使用される方法論は不可欠である。 本研究は,データ分割戦略に着目し,現在のオフライン評価手法と実世界のユースケースとの整合性に対処することを目的とする。 異なるデータ分割戦略がオフライン性能に与える影響を調べるため、大規模なオープンベンチマークデータセットであるCriteo上でランダムスプリットとテンポラルスプリットの両方を用いて広範な実験を行った。

関連論文リスト

• BECAUSE: Bilinear Causal Representation for Generalizable Offline Model-based Reinforcement Learning [39.090104460303415]
  オフラインモデルベース強化学習(MBRL)は、事前コンパイルされたデータセットを使用してモデルとポリシーを学ぶことにより、データ効率を向上させる。 本稿は、このミスマッチの主な原因を、オフラインデータに存在する根底にある共同設立者から特定する。 両状態の因果表現をキャプチャするアルゴリズムである textbfBilintextbfEar textbfCAUSal rtextbfEpresentation (BECAUSE) を導入する。
  論文  参考訳（メタデータ） (2024-07-15T17:59:23Z)
• Investigating the Robustness of Counterfactual Learning to Rank Models: A Reproducibility Study [61.64685376882383]
  ランク付け学習(CLTR: Counterfactual Learning to rank)は、IRコミュニティにおいて、ログ化された大量のユーザインタラクションデータを活用してランキングモデルをトレーニングする能力において、大きな注目を集めている。 本稿では,複雑かつ多様な状況における既存のCLTRモデルのロバスト性について検討する。 その結果, DLAモデルとIPS-DCMは, PS-PBMやPSSよりも, オフラインの確率推定による堅牢性が高いことがわかった。
  論文  参考訳（メタデータ） (2024-04-04T10:54:38Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Interactive Graph Convolutional Filtering [79.34979767405979]
  インタラクティブ・レコメンダ・システム(IRS)は、パーソナライズされた記事レコメンデーション、ソーシャルメディア、オンライン広告など、さまざまな領域でますます利用されている。 これらの問題は、コールドスタート問題とデータスポーサリティ問題によって悪化する。 既存のMulti-Armed Bandit手法は、慎重に設計された探査戦略にもかかわらず、しばしば初期の段階で満足な結果を提供するのに苦労する。 提案手法は,ユーザとアイテム間の協調フィルタリング性能を向上させるため,協調フィルタリングをグラフモデルに拡張する。
  論文  参考訳（メタデータ） (2023-09-04T09:02:31Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Managing dataset shift by adversarial validation for credit scoring [5.560471251954645]
  トレーニングデータの分布と実際に予測する必要があるデータとの矛盾は、モデルパフォーマンスの低下を引き起こす可能性がある。 本稿では,クレジットスコアリングシナリオにおけるデータセットシフト問題を軽減するための,逆検証に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-12-19T07:07:15Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)
• AliExpress Learning-To-Rank: Maximizing Online Model Performance without Going Online [60.887637616379926]
  本稿では,学習からランクへ学習するための評価器・ジェネレータフレームワークを提案する。 コンテキストを含むレコメンデーションを一般化して評価する評価器と、強化学習による評価器スコアを最大化するジェネレータとから構成される。 本手法は, オンラインA/Bテストにおける産業レベルの微調整モデルよりも, 変換率(CR)の面で大幅に向上する。
  論文  参考訳（メタデータ） (2020-03-25T10:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。