論文の概要: CL4CTR: A Contrastive Learning Framework for CTR Prediction
- arxiv url: http://arxiv.org/abs/2212.00522v1
- Date: Thu, 1 Dec 2022 14:18:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 16:59:40.025917
- Title: CL4CTR: A Contrastive Learning Framework for CTR Prediction
- Title（参考訳）: CL4CTR: CTR予測のための比較学習フレームワーク
- Authors: Fangye Wang, Yingxu Wang, Dongsheng Li, Hansu Gu, Tun Lu, Peng Zhang,
Ning Gu
- Abstract要約: 高品質な特徴表現を直接生成するために,自己教師付き学習を導入する。
本稿では3つの自己教師付き学習信号からなるCTR(CL4CTR)フレームワークのモデル非依存型コントラスト学習を提案する。
CL4CTRは4つのデータセットで最高のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 14.968714571151509
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many Click-Through Rate (CTR) prediction works focused on designing advanced
architectures to model complex feature interactions but neglected the
importance of feature representation learning, e.g., adopting a plain embedding
layer for each feature, which results in sub-optimal feature representations
and thus inferior CTR prediction performance. For instance, low frequency
features, which account for the majority of features in many CTR tasks, are
less considered in standard supervised learning settings, leading to
sub-optimal feature representations. In this paper, we introduce
self-supervised learning to produce high-quality feature representations
directly and propose a model-agnostic Contrastive Learning for CTR (CL4CTR)
framework consisting of three self-supervised learning signals to regularize
the feature representation learning: contrastive loss, feature alignment, and
field uniformity. The contrastive module first constructs positive feature
pairs by data augmentation and then minimizes the distance between the
representations of each positive feature pair by the contrastive loss. The
feature alignment constraint forces the representations of features from the
same field to be close, and the field uniformity constraint forces the
representations of features from different fields to be distant. Extensive
experiments verify that CL4CTR achieves the best performance on four datasets
and has excellent effectiveness and compatibility with various representative
baselines.
- Abstract（参考訳）: 多くのクリックスルーレート(CTR)予測は、複雑な特徴相互作用をモデル化する高度なアーキテクチャの設計に重点を置いているが、特徴表現学習の重要性を無視している。
例えば、多くのCTRタスクで機能の大部分を占める低周波機能は、標準的な教師付き学習設定では考慮されないため、準最適特徴表現につながる。
本稿では,高品質な特徴表現を直接生成するために自己教師あり学習を導入するとともに,特徴表現学習を定式化する3つの自己教師あり学習信号からなるctr(cl4ctr)フレームワークのためのモデル非依存コントラスト学習を提案する。
コントラストモジュールは、まずデータ拡張により正の特徴対を構成し、その後、コントラスト損失により各正の特徴対の表現間の距離を最小化する。
特徴のアライメントの制約は同一のフィールドから特徴の表現を近いものにし、フィールドの統一性制約は異なるフィールドから特徴の表現を遠ざけることを強いる。
大規模な実験により、CL4CTRは4つのデータセット上で最高のパフォーマンスを達成し、様々な代表的ベースラインとの互換性に優れていた。
関連論文リスト
- TF4CTR: Twin Focus Framework for CTR Prediction via Adaptive Sample Differentiation [14.047096669510369]
本稿では,Twin Focus (TF) Loss, Sample Selection Embedding Module (SSEM), Dynamic Fusion Module (DFM) を統合した新しいCTR予測フレームワークを提案する。
5つの実世界のデータセットの実験は、フレームワークの有効性と互換性を確認している。
論文 参考訳（メタデータ） (2024-05-06T05:22:40Z) - Learning the Unlearned: Mitigating Feature Suppression in Contrastive Learning [45.25602203155762]
自己監督型コントラスト学習は、ラベルのないデータから高品質な表現を導き出すのに有効であることが証明されている。
単目的学習とマルチモーダル学習の両方を妨げる大きな課題は、特徴抑制である。
本稿では,新しいモデルに依存しないマルチステージコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-19T04:13:33Z) - Unveiling Backbone Effects in CLIP: Exploring Representational Synergies
and Variances [49.631908848868505]
コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。
各種ニューラルアーキテクチャにおけるCLIP性能の違いについて検討する。
我々は、複数のバックボーンからの予測を組み合わせるためのシンプルで効果的なアプローチを提案し、最大6.34%のパフォーマンス向上につながった。
論文 参考訳（メタデータ） (2023-12-22T03:01:41Z) - Hierarchical Visual Primitive Experts for Compositional Zero-Shot
Learning [52.506434446439776]
合成ゼロショット学習(CZSL)は、既知のプリミティブ(属性とオブジェクト)の事前知識で構成を認識することを目的としている。
このような問題に対処するために,コンポジショントランスフォーマー(CoT)と呼ばれるシンプルでスケーラブルなフレームワークを提案する。
提案手法は,MIT-States,C-GQA,VAW-CZSLなど,いくつかのベンチマークでSoTA性能を実現する。
論文 参考訳（メタデータ） (2023-08-08T03:24:21Z) - MAP: A Model-agnostic Pretraining Framework for Click-through Rate
Prediction [39.48740397029264]
本稿では,多分野分類データに特徴的破損と回復を適用したMAP(Model-Agnostic Pretraining)フレームワークを提案する。
マスク付き特徴予測(RFD)と代替特徴検出(RFD)の2つの実用的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2023-08-03T12:55:55Z) - DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for
CTR Prediction [61.68415731896613]
CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。
本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
論文 参考訳（メタデータ） (2023-05-03T12:34:45Z) - Disentangled Representation Learning for Text-Video Retrieval [51.861423831566626]
テキスト・ビデオ検索(TVR)における相互モダリティの相互作用
我々は相互作用のパラダイムを深く研究し、その計算を2つの項に分けることができることを示した。
本稿では,逐次的かつ階層的な表現を捉えるための非絡み合いフレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-14T13:55:33Z) - Masked Transformer for Neighhourhood-aware Click-Through Rate Prediction [74.52904110197004]
本稿では,近隣相互作用に基づくCTR予測を提案し,そのタスクを異種情報ネットワーク(HIN)設定に組み込む。
周辺地域の表現を高めるために,ノード間のトポロジカルな相互作用を4種類検討する。
本研究では,2つの実世界のデータセットに関する総合的な実験を行い,提案手法が最先端のCTRモデルを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2022-01-25T12:44:23Z) - AutoDis: Automatic Discretization for Embedding Numerical Features in
CTR Prediction [45.69943728028556]
高度な機能相互作用の学習は、レコメンデータシステムにおけるClick-Through Rate(CTR)予測に不可欠である。
様々な深いCTRモデルは、埋め込みとフィーチャーインタラクションのパラダイムに従います。
数値フィールドの特徴を自動的に識別し、エンドツーエンドでCTRモデルに最適化するフレームワークであるAutoDisを提案します。
論文 参考訳（メタデータ） (2020-12-16T14:31:31Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。