論文の概要: ALT: Towards Fine-grained Alignment between Language and CTR Models for
Click-Through Rate Prediction
- arxiv url: http://arxiv.org/abs/2310.19453v1
- Date: Mon, 30 Oct 2023 11:25:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 20:33:40.156476
- Title: ALT: Towards Fine-grained Alignment between Language and CTR Models for
Click-Through Rate Prediction
- Title(参考訳): ALT:クリックスルーレート予測のための言語モデルとCTRモデル間の微粒なアライメントを目指して
- Authors: Hangyu Wang, Jianghao Lin, Xiangyang Li, Bo Chen, Chenxu Zhu, Ruiming
Tang, Weinan Zhang, Yong Yu
- Abstract要約: クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。
本稿では,CTR予測のための言語モデルとCTRモデル(ALT)間の細粒度特徴レベルのアライメントを提案する。
3つの実世界のデータセットの実験により、ALTはSOTAベースラインより優れており、様々な言語やCTRモデルに高い互換性があることが示された。
- 参考スコア(独自算出の注目度): 51.64257638308695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Click-through rate (CTR) prediction plays as a core function module in
various personalized online services. According to the data modality and input
format, the models for CTR prediction can be mainly classified into two
categories. The first one is the traditional CTR models that take as inputs the
one-hot encoded ID features of tabular modality, which aims to capture the
collaborative signals via feature interaction modeling. The second category
takes as inputs the sentences of textual modality obtained by hard prompt
templates, where pretrained language models (PLMs) are adopted to extract the
semantic knowledge. These two lines of research generally focus on different
characteristics of the same input data (i.e., textual and tabular modalities),
forming a distinct complementary relationship with each other. Therefore, in
this paper, we propose to conduct fine-grained feature-level Alignment between
Language and CTR models (ALT) for CTR prediction. Apart from the common
CLIP-like instance-level contrastive learning, we further design a novel joint
reconstruction pretraining task for both masked language and tabular modeling.
Specifically, the masked data of one modality (i.e., tokens or features) has to
be recovered with the help of the other modality, which establishes the
feature-level interaction and alignment via sufficient mutual information
extraction between dual modalities. Moreover, we propose three different
finetuning strategies with the option to train the aligned language and CTR
models separately or jointly for downstream CTR prediction tasks, thus
accommodating the varying efficacy and efficiency requirements for industrial
applications. Extensive experiments on three real-world datasets demonstrate
that ALT outperforms SOTA baselines, and is highly compatible for various
language and CTR models.
- Abstract(参考訳): クリックスルーレート(CTR)予測は、さまざまなパーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。
データモダリティと入力形式により、CTR予測のモデルは、主に2つのカテゴリに分類される。
ひとつは、従来のCTRモデルで、1ホットの符号化IDの特徴を表わし、特徴相互作用モデリングによって協調的な信号をキャプチャすることを目的としている。
第2のカテゴリは、ハードプロンプトテンプレートによって得られるテキストモダリティの文を入力として取り、事前訓練された言語モデル(PLM)を用いて意味知識を抽出する。
これらの2つの研究は、一般的に同じ入力データ(テキストと表のモダリティ)の異なる特性に焦点を合わせ、互いに異なる相補的な関係を形成する。
そこで本稿では,CTR予測のための言語モデルとCTRモデル(ALT)間の細粒度特徴レベルのアライメントを提案する。
一般的なCLIPのようなインスタンスレベルのコントラスト学習とは別に、マスク言語と表型モデリングの両方のための新しい共同再構築事前訓練タスクを設計する。
具体的には、一方のモダリティ(トークンや特徴)のマスクされたデータは、他方のモダリティの助けを借りて復元され、双対モダリティ間の十分な相互情報抽出を通じて特徴レベルの相互作用とアライメントを確立する必要がある。
さらに,下流のctr予測タスクに対して,アライメント言語とctrモデルを別々に,あるいは共同で訓練するオプションにより,産業用途における様々な有効性と効率要件を満たした3種類の微調整戦略を提案する。
3つの実世界のデータセットに対する大規模な実験により、ALTはSOTAベースラインより優れており、様々な言語やCTRモデルに高い互換性があることが示された。
関連論文リスト
- ClickPrompt: CTR Models are Strong Prompt Generators for Adapting
Language Models to CTR Prediction [46.65360449769386]
クリックスルー率(CTR)の予測は、様々なインターネットアプリケーションにとってますます不可欠になっている。
従来のCTRモデルは、マルチフィールド分類データをワンホット符号化によりID特徴に変換し、特徴間の協調信号を抽出する。
我々は、CTRモデルを組み込んで対話対応ソフトプロンプトを生成する、新しいモデル非依存フレームワーク(ClickPrompt)を提案する。
論文 参考訳(メタデータ) (2023-10-13T16:37:53Z) - Structural Self-Supervised Objectives for Transformers [3.018656336329545]
この論文は、教師なし生データを用いて自然言語モデルの事前学習を改善することに焦点を当てている。
第一部では,BERT の Masked Language Modeling (MLM) に対する3つの事前学習目標について紹介する。
第2部では、下流アプリケーションと構造的に整合する自己教師付き事前学習タスクを提案する。
論文 参考訳(メタデータ) (2023-09-15T09:30:45Z) - BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model
with Non-textual Features for CTR Prediction [12.850529317775198]
本稿では,非テキスト特徴とテキスト特徴の相互作用の恩恵を受けることができるUni-Attention機構を備えた新しいフレームワークBERT4CTRを提案する。
BERT4CTRは、マルチモーダル入力を処理する最先端フレームワークを大幅に上回り、Click-Through-Rate (CTR)予測に適用できる。
論文 参考訳(メタデータ) (2023-08-17T08:25:54Z) - Pre-trained Language Models for Keyphrase Generation: A Thorough
Empirical Study [76.52997424694767]
事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。
PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。
さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
論文 参考訳(メタデータ) (2022-12-20T13:20:21Z) - Generating More Pertinent Captions by Leveraging Semantics and Style on
Multi-Source Datasets [56.018551958004814]
本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。
ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。
本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
論文 参考訳(メタデータ) (2021-11-24T19:00:05Z) - Leveraging Advantages of Interactive and Non-Interactive Models for
Vector-Based Cross-Lingual Information Retrieval [12.514666775853598]
対話型モデルと非対話型モデルの利点を活用する新しいフレームワークを提案する。
非対話型アーキテクチャ上でモデルを構築できる半対話型機構を導入するが、各文書を関連付けられた多言語クエリと共にエンコードする。
本手法は,計算効率を維持しながら検索精度を大幅に向上させる。
論文 参考訳(メタデータ) (2021-11-03T03:03:19Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - UniLMv2: Pseudo-Masked Language Models for Unified Language Model
Pre-Training [152.63467944568094]
本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。
実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
論文 参考訳(メタデータ) (2020-02-28T15:28:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。