論文の概要: FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction

• arxiv url: http://arxiv.org/abs/2310.19453v4
• Date: Wed, 30 Oct 2024 07:04:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:22:33.793733
• Title: FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction
• Title（参考訳）: FLIP: CTR予測のためのIDベースモデルと事前学習言語モデルとの微粒なアライメント
• Authors: Hangyu Wang, Jianghao Lin, Xiangyang Li, Bo Chen, Chenxu Zhu, Ruiming Tang, Weinan Zhang, Yong Yu,
• Abstract要約: クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
• 参考スコア（独自算出の注目度）: 49.510163437116645
• License:
• Abstract: Click-through rate (CTR) prediction plays as a core function module in various personalized online services. The traditional ID-based models for CTR prediction take as inputs the one-hot encoded ID features of tabular modality, which capture the collaborative signals via feature interaction modeling. But the one-hot encoding discards the semantic information included in the textual features. Recently, the emergence of Pretrained Language Models(PLMs) has given rise to another paradigm, which takes as inputs the sentences of textual modality obtained by hard prompt templates and adopts PLMs to extract the semantic knowledge. However, PLMs often face challenges in capturing field-wise collaborative signals and distinguishing features with subtle textual differences. In this paper, to leverage the benefits of both paradigms and meanwhile overcome their limitations, we propose to conduct Fine-grained feature-level ALignment between ID-based Models and Pretrained Language Models(FLIP) for CTR prediction. Unlike most methods that solely rely on global views through instance-level contrastive learning, we design a novel jointly masked tabular/language modeling task to learn fine-grained alignment between tabular IDs and word tokens. Specifically, the masked data of one modality (IDs and tokens) has to be recovered with the help of the other modality, which establishes the feature-level interaction and alignment via sufficient mutual information extraction between dual modalities. Moreover, we propose to jointly finetune the ID-based model and PLM by adaptively combining the output of both models, thus achieving superior performance in downstream CTR prediction tasks. Extensive experiments on three real-world datasets demonstrate that FLIP outperforms SOTA baselines, and is highly compatible with various ID-based models and PLMs. The code is at \url{https://github.com/justarter/FLIP}.
• Abstract（参考訳）: クリックスルーレート(CTR)予測は、さまざまなパーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、特徴相互作用モデリングを通じて協調的な信号をキャプチャする表形式での1ホット符号化ID特徴を入力として捉えている。 しかし、ワンホットエンコーディングは、テキスト機能に含まれる意味情報を破棄する。 近年、PLM(Pretrained Language Models)の出現は、ハードプロンプトテンプレートによって得られるテキストモダリティの文を入力として、意味知識を抽出するためにPLMを採用するという別のパラダイムを生み出している。 しかしながら、PLMは、フィールドワイドの協調的な信号をキャプチャし、微妙なテキスト差のある特徴を区別する上で、しばしば課題に直面している。 本稿では,両パラダイムの利点を活かし,その限界を克服するために,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。 ケースレベルのコントラスト学習によるグローバルビューのみに依存するほとんどの方法とは異なり、我々は、表IDと単語トークンの微妙なアライメントを学習するための、新しいマスク付き表/言語モデリングタスクを設計する。 具体的には、1つのモダリティ(IDとトークン)のマスキングデータを他のモダリティの助けを借りて復元し、デュアルモダリティ間の十分な相互情報抽出によって特徴レベルの相互作用とアライメントを確立する必要がある。 さらに,両モデルの出力を適応的に組み合わせることで,IDベースモデルとPLMを協調的に微調整し,下流CTR予測タスクにおいて優れた性能を実現することを提案する。 3つの実世界のデータセットに対する大規模な実験により、FLIPはSOTAベースラインより優れており、様々なIDベースのモデルやPLMと高い互換性を持つことが示された。 コードは \url{https://github.com/justarter/FLIP} にある。

関連論文リスト

• FineCLIPER: Multi-modal Fine-grained CLIP for Dynamic Facial Expression Recognition with AdaptERs [5.35588281968644]
  適応器を用いた動的顔表情認識のためのマルチモーダルきめ細粒度CLIP(Fine CLIPER)を提案する。 我々のFine CLIPERは、パラメータが少ないDFEW、FERV39k、MAFWデータセットで調整可能なSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-07-02T10:55:43Z)
• Fine-tuning CLIP Text Encoders with Two-step Paraphrasing [83.3736789315201]
  パラフレーズに対するCLIPモデルの表現を強化するための簡単な微調整手法を提案する。 ParaCLIPと呼ばれる我々のモデルは、様々なタスクでベースラインCLIPモデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-02-23T06:11:50Z)
• ClickPrompt: CTR Models are Strong Prompt Generators for Adapting Language Models to CTR Prediction [45.15127775876369]
  クリックスルー率(CTR)の予測は、様々なインターネットアプリケーションにとってますます不可欠になっている。 従来のCTRモデルは、マルチフィールド分類データをワンホット符号化によりID特徴に変換し、特徴間の協調信号を抽出する。 我々は、CTRモデルを組み込んで対話対応ソフトプロンプトを生成する、新しいモデル非依存フレームワーク(ClickPrompt)を提案する。
  論文  参考訳（メタデータ） (2023-10-13T16:37:53Z)
• Co-Driven Recognition of Semantic Consistency via the Fusion of Transformer and HowNet Sememes Knowledge [6.184249194474601]
  本稿では,Transformer と HowNet のセメム知識の融合に基づく協調型意味的一貫性認識手法を提案する。 BiLSTMは概念的意味情報をエンコードし、意味的一貫性を推測するために利用される。
  論文  参考訳（メタデータ） (2023-02-21T09:53:19Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)
• Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
  ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。 依存関係情報を言語誘導型注意機構に処理する。 言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
  論文  参考訳（メタデータ） (2021-09-23T08:13:35Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。