論文の概要: BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with Non-textual Features for CTR Prediction

• arxiv url: http://arxiv.org/abs/2308.11527v1
• Date: Thu, 17 Aug 2023 08:25:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-27 04:57:55.108670
• Title: BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with Non-textual Features for CTR Prediction
• Title（参考訳）: BERT4CTR: CTR予測のための事前学習言語モデルと非テクスチャ特徴を組み合わせた効率的なフレームワーク
• Authors: Dong Wang, Kav\'e Salamatian, Yunqing Xia, Weiwei Deng, Qi Zhiang
• Abstract要約: 本稿では,非テキスト特徴とテキスト特徴の相互作用の恩恵を受けることができるUni-Attention機構を備えた新しいフレームワークBERT4CTRを提案する。 BERT4CTRは、マルチモーダル入力を処理する最先端フレームワークを大幅に上回り、Click-Through-Rate (CTR)予測に適用できる。
• 参考スコア（独自算出の注目度）: 12.850529317775198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although deep pre-trained language models have shown promising benefit in a large set of industrial scenarios, including Click-Through-Rate (CTR) prediction, how to integrate pre-trained language models that handle only textual signals into a prediction pipeline with non-textual features is challenging. Up to now two directions have been explored to integrate multi-modal inputs in fine-tuning of pre-trained language models. One consists of fusing the outcome of language models and non-textual features through an aggregation layer, resulting into ensemble framework, where the cross-information between textual and non-textual inputs are only learned in the aggregation layer. The second one consists of splitting non-textual features into fine-grained fragments and transforming the fragments to new tokens combined with textual ones, so that they can be fed directly to transformer layers in language models. However, this approach increases the complexity of the learning and inference because of the numerous additional tokens. To address these limitations, we propose in this work a novel framework BERT4CTR, with the Uni-Attention mechanism that can benefit from the interactions between non-textual and textual features while maintaining low time-costs in training and inference through a dimensionality reduction. Comprehensive experiments on both public and commercial data demonstrate that BERT4CTR can outperform significantly the state-of-the-art frameworks to handle multi-modal inputs and be applicable to CTR prediction.
• Abstract（参考訳）: 深い事前学習された言語モデルは、Click-Through-Rate (CTR)予測を含む幅広い産業シナリオにおいて有望なメリットを示しているが、テキスト信号のみを処理する事前学習された言語モデルを、非テキスト機能を備えた予測パイプラインに統合する方法は難しい。 現在までに、事前訓練された言語モデルの微調整にマルチモーダル入力を統合するために2つの方向が検討されている。 1つは、アグリゲーション層を通して言語モデルと非テキスト特徴の結果を融合し、結果としてアンサンブルフレームワークとなり、テキストと非テキストのインプット間の相互情報のみをアグリゲーション層で学習する。 2つ目は、非テキストの機能をきめ細かいフラグメントに分割し、フラグメントをテキストのフラグメントと組み合わせた新しいトークンに変換することで、言語モデルのトランスフォーマー層に直接送れるようにする。 しかし、多くの追加トークンがあるため、このアプローチは学習と推論の複雑さを増大させる。 これらの制約に対処するため,本研究では,非テクスチュアル特徴とテキスト特徴との相互作用の恩恵を享受すると同時に,次元還元によるトレーニングや推論の低コストを維持しつつ,新たなフレームワークBERT4CTRを提案する。 パブリックデータと商用データの両方に関する包括的な実験は、BERT4CTRがマルチモーダル入力を処理する最先端のフレームワークを大幅に上回っており、CTR予測に適用可能であることを示している。

関連論文リスト

• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• ClickPrompt: CTR Models are Strong Prompt Generators for Adapting Language Models to CTR Prediction [45.15127775876369]
  クリックスルー率(CTR)の予測は、様々なインターネットアプリケーションにとってますます不可欠になっている。 従来のCTRモデルは、マルチフィールド分類データをワンホット符号化によりID特徴に変換し、特徴間の協調信号を抽出する。 我々は、CTRモデルを組み込んで対話対応ソフトプロンプトを生成する、新しいモデル非依存フレームワーク(ClickPrompt)を提案する。
  論文  参考訳（メタデータ） (2023-10-13T16:37:53Z)
• Progressive Class Semantic Matching for Semi-supervised Text Classification [26.794533973357403]
  半教師付き学習と事前学習言語モデルとの結婚について検討する。 大規模な実験により,本手法がベースラインに顕著な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-20T13:59:03Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。