論文の概要: ALT: Towards Fine-grained Alignment between Language and CTR Models for Click-Through Rate Prediction

• arxiv url: http://arxiv.org/abs/2310.19453v1
• Date: Mon, 30 Oct 2023 11:25:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 20:33:40.156476
• Title: ALT: Towards Fine-grained Alignment between Language and CTR Models for Click-Through Rate Prediction
• Title（参考訳）: ALT:クリックスルーレート予測のための言語モデルとCTRモデル間の微粒なアライメントを目指して
• Authors: Hangyu Wang, Jianghao Lin, Xiangyang Li, Bo Chen, Chenxu Zhu, Ruiming Tang, Weinan Zhang, Yong Yu
• Abstract要約: クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 本稿では,CTR予測のための言語モデルとCTRモデル(ALT)間の細粒度特徴レベルのアライメントを提案する。 3つの実世界のデータセットの実験により、ALTはSOTAベースラインより優れており、様々な言語やCTRモデルに高い互換性があることが示された。
• 参考スコア（独自算出の注目度）: 51.64257638308695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Click-through rate (CTR) prediction plays as a core function module in various personalized online services. According to the data modality and input format, the models for CTR prediction can be mainly classified into two categories. The first one is the traditional CTR models that take as inputs the one-hot encoded ID features of tabular modality, which aims to capture the collaborative signals via feature interaction modeling. The second category takes as inputs the sentences of textual modality obtained by hard prompt templates, where pretrained language models (PLMs) are adopted to extract the semantic knowledge. These two lines of research generally focus on different characteristics of the same input data (i.e., textual and tabular modalities), forming a distinct complementary relationship with each other. Therefore, in this paper, we propose to conduct fine-grained feature-level Alignment between Language and CTR models (ALT) for CTR prediction. Apart from the common CLIP-like instance-level contrastive learning, we further design a novel joint reconstruction pretraining task for both masked language and tabular modeling. Specifically, the masked data of one modality (i.e., tokens or features) has to be recovered with the help of the other modality, which establishes the feature-level interaction and alignment via sufficient mutual information extraction between dual modalities. Moreover, we propose three different finetuning strategies with the option to train the aligned language and CTR models separately or jointly for downstream CTR prediction tasks, thus accommodating the varying efficacy and efficiency requirements for industrial applications. Extensive experiments on three real-world datasets demonstrate that ALT outperforms SOTA baselines, and is highly compatible for various language and CTR models.
• Abstract（参考訳）: クリックスルーレート(CTR)予測は、さまざまなパーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 データモダリティと入力形式により、CTR予測のモデルは、主に2つのカテゴリに分類される。 ひとつは、従来のCTRモデルで、1ホットの符号化IDの特徴を表わし、特徴相互作用モデリングによって協調的な信号をキャプチャすることを目的としている。 第2のカテゴリは、ハードプロンプトテンプレートによって得られるテキストモダリティの文を入力として取り、事前訓練された言語モデル(PLM)を用いて意味知識を抽出する。 これらの2つの研究は、一般的に同じ入力データ(テキストと表のモダリティ)の異なる特性に焦点を合わせ、互いに異なる相補的な関係を形成する。 そこで本稿では,CTR予測のための言語モデルとCTRモデル(ALT)間の細粒度特徴レベルのアライメントを提案する。 一般的なCLIPのようなインスタンスレベルのコントラスト学習とは別に、マスク言語と表型モデリングの両方のための新しい共同再構築事前訓練タスクを設計する。 具体的には、一方のモダリティ(トークンや特徴)のマスクされたデータは、他方のモダリティの助けを借りて復元され、双対モダリティ間の十分な相互情報抽出を通じて特徴レベルの相互作用とアライメントを確立する必要がある。 さらに,下流のctr予測タスクに対して,アライメント言語とctrモデルを別々に,あるいは共同で訓練するオプションにより,産業用途における様々な有効性と効率要件を満たした3種類の微調整戦略を提案する。 3つの実世界のデータセットに対する大規模な実験により、ALTはSOTAベースラインより優れており、様々な言語やCTRモデルに高い互換性があることが示された。

関連論文リスト

• FineCLIPER: Multi-modal Fine-grained CLIP for Dynamic Facial Expression Recognition with AdaptERs [5.35588281968644]
  適応器を用いた動的顔表情認識のためのマルチモーダルきめ細粒度CLIP(Fine CLIPER)を提案する。 我々のFine CLIPERは、パラメータが少ないDFEW、FERV39k、MAFWデータセットで調整可能なSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-07-02T10:55:43Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• ClickPrompt: CTR Models are Strong Prompt Generators for Adapting Language Models to CTR Prediction [45.15127775876369]
  クリックスルー率(CTR)の予測は、様々なインターネットアプリケーションにとってますます不可欠になっている。 従来のCTRモデルは、マルチフィールド分類データをワンホット符号化によりID特徴に変換し、特徴間の協調信号を抽出する。 我々は、CTRモデルを組み込んで対話対応ソフトプロンプトを生成する、新しいモデル非依存フレームワーク(ClickPrompt)を提案する。
  論文  参考訳（メタデータ） (2023-10-13T16:37:53Z)
• Co-Driven Recognition of Semantic Consistency via the Fusion of Transformer and HowNet Sememes Knowledge [6.184249194474601]
  本稿では,Transformer と HowNet のセメム知識の融合に基づく協調型意味的一貫性認識手法を提案する。 BiLSTMは概念的意味情報をエンコードし、意味的一貫性を推測するために利用される。
  論文  参考訳（メタデータ） (2023-02-21T09:53:19Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)
• Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
  ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。 依存関係情報を言語誘導型注意機構に処理する。 言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
  論文  参考訳（メタデータ） (2021-09-23T08:13:35Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。