論文の概要: DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction

• arxiv url: http://arxiv.org/abs/2305.04891v3
• Date: Tue, 5 Sep 2023 07:24:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 05:25:47.394871
• Title: DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction
• Title（参考訳）: DELTA: CTR予測のための微調整意識を用いた動的埋め込み学習
• Authors: Chen Zhu, Liang Du, Hong Chen, Shuang Zhao, Zixun Sun, Xin Wang, Wenwu Zhu
• Abstract要約: CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。 本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
• 参考スコア（独自算出の注目度）: 61.68415731896613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Click-Through Rate (CTR) prediction is a pivotal task in product and content recommendation, where learning effective feature embeddings is of great significance. However, traditional methods typically learn fixed feature representations without dynamically refining feature representations according to the context information, leading to suboptimal performance. Some recent approaches attempt to address this issue by learning bit-wise weights or augmented embeddings for feature representations, but suffer from uninformative or redundant features in the context. To tackle this problem, inspired by the Global Workspace Theory in conscious processing, which posits that only a specific subset of the product features are pertinent while the rest can be noisy and even detrimental to human-click behaviors, we propose a CTR model that enables Dynamic Embedding Learning with Truncated Conscious Attention for CTR prediction, termed DELTA. DELTA contains two key components: (I) conscious truncation module (CTM), which utilizes curriculum learning to apply adaptive truncation on attention weights to select the most critical feature in the context; (II) explicit embedding optimization (EEO), which applies an auxiliary task during training that directly and independently propagates the gradient from the loss layer to the embedding layer, thereby optimizing the embedding explicitly via linear feature crossing. Extensive experiments on five challenging CTR datasets demonstrate that DELTA achieves new state-of-art performance among current CTR methods.
• Abstract（参考訳）: CTR(Click-Through Rate)予測は製品とコンテンツの推奨において重要なタスクであり、効果的な機能の埋め込みを学ぶことが非常に重要である。 しかし、伝統的な手法は通常、文脈情報に従って特徴表現を動的に精錬することなく固定的な特徴表現を学習し、最適な性能をもたらす。 最近のアプローチでは、ビット単位の重み付けや特徴表現のための拡張埋め込みを学習することでこの問題に対処しようとしているが、文脈において非形式的あるいは冗長な特徴に苦しめられている。 意識処理におけるグローバルワークスペース理論(Global Workspace Theory)に着想を得て、製品の特徴の特定のサブセットのみに関係があり、残りはノイズがあり、人間のクリック行動に有害である、と仮定し、CTRモデルを提案する。 DELTAには2つの重要な要素がある: (I) 意識的トランケーションモジュール (CTM) カリキュラム学習を利用して、注意重みに適応的トランケーションを適用して、コンテキスト内で最も重要な特徴を選択する (II) 明示的埋め込み最適化 (EEO) 学習中に補助的なタスクを適用し、損失層から埋め込み層への勾配を直接かつ独立に伝播し、線形的特徴交差を介して明示的に埋め込みを最適化する。 5つの挑戦的CTRデータセットに対する大規模な実験は、DELTAが現在のCTR手法で新しい最先端性能を達成することを示した。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Cross-Regularization [78.61621802973262]
  トレーニング済み重量を効率的に更新するための直交微調整法を提案する。 クロスレギュラー化戦略はゼロショットの一般化の観点から安定性を維持するためにも用いられる。 提案手法は,タスク固有の知識を表現するために,事前学習した重み空間を明示的に操るものであることを実証するために,広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Retrieval-Oriented Knowledge for Click-Through Rate Prediction [29.55757862617378]
  本稿では,汎用的なプラグ・アンド・プレイ・リトリーバル・オリエント・ナレッジ(ROK)フレームワークを提案する。 検索指向の埋め込み層と知識エンコーダからなる知識ベースは、検索および集約された表現を保存および模倣するために設計されている。 3つの大規模データセットの実験により、ROKは検索ベースのCTRモデルと競合する性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-04-28T20:21:03Z)
• Sequential Action-Induced Invariant Representation for Reinforcement Learning [1.2046159151610263]
  視覚的障害を伴う高次元観察からタスク関連状態表現を正確に学習する方法は、視覚的強化学習において難しい問題である。 本稿では,逐次動作の制御信号に従うコンポーネントのみを保持するために,補助学習者によってエンコーダを最適化した逐次行動誘発不変表現(SAR)法を提案する。
  論文  参考訳（メタデータ） (2023-09-22T05:31:55Z)
• MAP: A Model-agnostic Pretraining Framework for Click-through Rate Prediction [39.48740397029264]
  本稿では,多分野分類データに特徴的破損と回復を適用したMAP(Model-Agnostic Pretraining)フレームワークを提案する。 マスク付き特徴予測(RFD)と代替特徴検出(RFD)の2つの実用的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-08-03T12:55:55Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• CL4CTR: A Contrastive Learning Framework for CTR Prediction [14.968714571151509]
  高品質な特徴表現を直接生成するために,自己教師付き学習を導入する。 本稿では3つの自己教師付き学習信号からなるCTR(CL4CTR)フレームワークのモデル非依存型コントラスト学習を提案する。 CL4CTRは4つのデータセットで最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-12-01T14:18:02Z)
• Learning Deep Representations via Contrastive Learning for Instance Retrieval [11.736450745549792]
  本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。 本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-28T04:36:34Z)
• Visual Alignment Constraint for Continuous Sign Language Recognition [74.26707067455837]
  ビジョンベースの継続的署名言語認識は、画像シーケンスから未分割ジェスチャーを認識することを目的とする。 本研究は,最近のCTCに基づくCSLRにおける過剰適合問題を再考し,特徴抽出器の訓練不足によるものである。 視覚アライメント制約(vac)により、よりアライメントの監督により特徴抽出器を強化する。
  論文  参考訳（メタデータ） (2021-04-06T07:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。