論文の概要: Toward a benchmark for CTR prediction in online advertising: datasets, evaluation protocols and perspectives

• arxiv url: http://arxiv.org/abs/2512.01179v1
• Date: Mon, 01 Dec 2025 01:36:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.626462
• Title: Toward a benchmark for CTR prediction in online advertising: datasets, evaluation protocols and perspectives
• Title（参考訳）: オンライン広告におけるCTR予測のベンチマークに向けて--データセット、評価プロトコル、視点
• Authors: Shan Gao, Yanwu Yang,
• Abstract要約: 本研究は,CTR予測ベンチマーク(Bench-CTR)の統一アーキテクチャを設計する。 実世界のデータセットと合成データセットを含む総合的な評価プロトコルを構築する。
• 参考スコア（独自算出の注目度）: 12.546199858068519
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This research designs a unified architecture of CTR prediction benchmark (Bench-CTR) platform that offers flexible interfaces with datasets and components of a wide range of CTR prediction models. Moreover, we construct a comprehensive system of evaluation protocols encompassing real-world and synthetic datasets, a taxonomy of metrics, standardized procedures and experimental guidelines for calibrating the performance of CTR prediction models. Furthermore, we implement the proposed benchmark platform and conduct a comparative study to evaluate a wide range of state-of-the-art models from traditional multivariate statistical to modern large language model (LLM)-based approaches on three public datasets and two synthetic datasets. Experimental results reveal that, (1) high-order models largely outperform low-order models, though such advantage varies in terms of metrics and on different datasets; (2) LLM-based models demonstrate a remarkable data efficiency, i.e., achieving the comparable performance to other models while using only 2% of the training data; (3) the performance of CTR prediction models has achieved significant improvements from 2015 to 2016, then reached a stage with slow progress, which is consistent across various datasets. This benchmark is expected to facilitate model development and evaluation and enhance practitioners' understanding of the underlying mechanisms of models in the area of CTR prediction. Code is available at https://github.com/NuriaNinja/Bench-CTR.
• Abstract（参考訳）: 本研究は,幅広いCTR予測モデルのデータセットとコンポーネントとの柔軟なインターフェースを提供する,CTR予測ベンチマーク(Bench-CTR)の統一アーキテクチャを設計する。 さらに、実世界のデータセットと合成データセット、メトリクスの分類、標準化された手順、CTR予測モデルの性能を調整するための実験ガイドラインを含む総合的な評価プロトコルを構築する。 さらに,提案したベンチマークプラットフォームを実装し,従来の多変量統計モデルから現代大言語モデル(LLM)に基づく3つの公開データセットと2つの合成データセットに対する幅広い最先端モデルの評価を行う。 実験結果から,(1)高次モデルは低次モデルよりも大幅に優れているが,その優位性はメトリクスやデータセットによって異なる。(2) LLMベースのモデルは,トレーニングデータのわずか2%を使用しながら,他のモデルと同等のパフォーマンスを達成すること,(3)CTR予測モデルの性能は2015年から2016年にかけて大幅に改善され,その後,さまざまなデータセット間で一貫性のある段階に到達した。 このベンチマークは、CTR予測領域におけるモデルの基盤となるメカニズムに対する実践者の理解を深め、モデルの開発と評価を促進することが期待されている。 コードはhttps://github.com/NuriaNinja/Bench-CTRで入手できる。

関連論文リスト

• STEP: Structured Training and Evaluation Platform for benchmarking trajectory prediction models [7.927039780654076]
  複数のデータセットに統一されたインターフェースを提供することで制限に対処する新しいベンチマークフレームワークであるSTEPを紹介します。 筆者らは,1)広く利用されている試験手順の限界,2) 相互作用予測のためのエージェントの協調モデリングの重要性,3) 分散シフトおよび敵エージェントによる標的攻撃に対する現在の最先端モデルの脆弱性を明らかにする実験でSTEPの能力を実証した。
  論文  参考訳（メタデータ） (2025-09-18T09:56:16Z)
• Generative Click-through Rate Prediction with Applications to Search Advertising [6.555660969349762]
  識別モデルにおけるCTR予測の精度を高めるために生成モデルを利用する新しいモデルを提案する。 提案手法の有効性は,新しいデータセットに対する広範囲な実験を通じて実証される。 このモデルは、世界最大のeコマースプラットフォームのひとつにデプロイされている。
  論文  参考訳（メタデータ） (2025-07-15T12:21:30Z)
• Benchmarking community drug response prediction models: datasets, models, tools, and metrics for cross-dataset generalization analysis [36.689210473887904]
  本稿では,ディープラーニング(DL)モデルと機械学習(ML)モデルにおけるデータセット間予測の一般化を評価するためのベンチマークフレームワークを提案する。 絶対的なパフォーマンス(データセット間での予測精度など)と相対的なパフォーマンス(例えば、データセット内の結果と比較してパフォーマンス低下)の両方を定量化します。 本結果は,厳密な一般化評価の重要性を浮き彫りにして,未知のデータセット上でモデルをテストする場合の大幅な性能低下を明らかにした。
  論文  参考訳（メタデータ） (2025-03-18T15:40:18Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis [8.785345412061792]
  摂動に対する単一細胞転写応答をモデル化するための包括的枠組みを提案する。 私たちのアプローチには、モジュラーでユーザフレンドリなモデル開発と評価プラットフォームが含まれています。 モード崩壊など、広く使われているモデルの限界を強調します。
  論文  参考訳（メタデータ） (2024-08-20T07:40:20Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。