論文の概要: CELA: Cost-Efficient Language Model Alignment for CTR Prediction

• arxiv url: http://arxiv.org/abs/2405.10596v2
• Date: Tue, 18 Jun 2024 03:43:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 00:30:36.404581
• Title: CELA: Cost-Efficient Language Model Alignment for CTR Prediction
• Title（参考訳）: CELA:CTR予測のための費用効率の良い言語モデルアライメント
• Authors: Xingmei Wang, Weiwen Liu, Xiaolong Chen, Qi Liu, Xu Huang, Defu Lian, Xiangyang Li, Yasheng Wang, Zhenhua Dong, Ruiming Tang,
• Abstract要約: CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
• 参考スコア（独自算出の注目度）: 71.85120354973073
• License:
• Abstract: Click-Through Rate (CTR) prediction holds a paramount position in recommender systems. The prevailing ID-based paradigm underperforms in cold-start scenarios due to the skewed distribution of feature frequency. Additionally, the utilization of a single modality fails to exploit the knowledge contained within textual features. Recent efforts have sought to mitigate these challenges by integrating Pre-trained Language Models (PLMs). They design hard prompts to structure raw features into text for each interaction and then apply PLMs for text processing. With external knowledge and reasoning capabilities, PLMs extract valuable information even in cases of sparse interactions. Nevertheless, compared to ID-based models, pure text modeling degrades the efficacy of collaborative filtering, as well as feature scalability and efficiency during both training and inference. To address these issues, we propose \textbf{C}ost-\textbf{E}fficient \textbf{L}anguage Model \textbf{A}lignment (\textbf{CELA}) for CTR prediction. CELA incorporates textual features and language models while preserving the collaborative filtering capabilities of ID-based models. This model-agnostic framework can be equipped with plug-and-play textual features, with item-level alignment enhancing the utilization of external information while maintaining training and inference efficiency. Through extensive offline experiments, CELA demonstrates superior performance compared to state-of-the-art methods. Furthermore, an online A/B test conducted on an industrial App recommender system showcases its practical effectiveness, solidifying the potential for real-world applications of CELA.
• Abstract（参考訳）: CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 特徴周波数の歪んだ分布のため, コールドスタートシナリオにおいて, 一般的なIDベースのパラダイムは不十分である。 さらに、単一のモダリティの利用は、テキストの特徴に含まれる知識を利用するのに失敗する。 近年の取り組みは、PLM(Pre-trained Language Models)を統合することで、これらの課題を緩和しようとしている。 彼らは、対話ごとに生の機能をテキストに構造化するハードプロンプトを設計し、テキスト処理にPLMを適用する。 外部知識と推論能力により、PLMは疎相互作用の場合にも貴重な情報を抽出する。 それにもかかわらず、IDベースのモデルと比較して、純粋なテキストモデリングは協調フィルタリングの有効性を低下させ、トレーニングと推論の両方において機能拡張性と効率性を低下させる。 これらの問題に対処するために、CTR予測のために \textbf{C}ost-\textbf{E}fficient \textbf{L}anguage Model \textbf{A}lignment (\textbf{CELA})を提案する。 CELAは、IDベースのモデルの協調フィルタリング機能を維持しながら、テキスト機能と言語モデルを組み込んでいる。 このモデルに依存しないフレームワークは、訓練と推論効率を維持しつつ、外部情報の利用を向上するアイテムレベルのアライメントを備えた、プラグアンドプレイのテキスト特徴を備えることができる。 大規模なオフライン実験を通じて、CELAは最先端の手法よりも優れた性能を示す。 さらに、インダストリアルアプリレコメンデータシステムで実施されたオンラインA/Bテストでは、CELAの現実的な応用の可能性を明確にする、その実用性を示している。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Making Text Embedders Few-Shot Learners [33.50993377494602]
  本稿では,高品質なテキスト埋め込みを実現するために,少数の例を用いた新しいモデルbge-en-iclを提案する。 提案手法では,タスク関連例をクエリ側に直接統合することで,タスク間の大幅な改善を実現している。 MTEBおよびAIR-Benchベンチマークによる実験結果から,本手法がSOTA(State-of-the-art)性能を新たに設定することを示す。
  論文  参考訳（メタデータ） (2024-09-24T03:30:19Z)
• EasyRec: Simple yet Effective Language Models for Recommendation [6.311058599430178]
  EasyRecは、テキストベースの意味理解を協調的な信号とシームレスに統合する、効果的で使いやすいアプローチである。 EasyRecでは、コントラスト学習と協調的な言語モデルチューニングを組み合わせた、テキストビヘイビアアライメントフレームワークを採用している。 この研究は、プラグイン・アンド・プレイコンポーネントとしてEasyRecをテキスト強化協調フィルタリングフレームワークにシームレスに統合する可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-16T16:09:59Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with Non-textual Features for CTR Prediction [12.850529317775198]
  本稿では,非テキスト特徴とテキスト特徴の相互作用の恩恵を受けることができるUni-Attention機構を備えた新しいフレームワークBERT4CTRを提案する。 BERT4CTRは、マルチモーダル入力を処理する最先端フレームワークを大幅に上回り、Click-Through-Rate (CTR)予測に適用できる。
  論文  参考訳（メタデータ） (2023-08-17T08:25:54Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Offline RL for Natural Language Generation with Implicit Language Q Learning [87.76695816348027]
  ユーザ指定タスクの完了に関して、大きな言語モデルは矛盾する可能性がある。 本稿では,RLのフレキシブル・ユーティリティ・フレームワークと教師あり学習能力を組み合わせた新しいRL手法を提案する。 ILQLの実証的な検証に加えて、オフラインRLが自然言語生成設定で有用となるような、詳細な経験的分析状況も提示する。
  論文  参考訳（メタデータ） (2022-06-05T18:38:42Z)
• Leveraging Advantages of Interactive and Non-Interactive Models for Vector-Based Cross-Lingual Information Retrieval [12.514666775853598]
  対話型モデルと非対話型モデルの利点を活用する新しいフレームワークを提案する。 非対話型アーキテクチャ上でモデルを構築できる半対話型機構を導入するが、各文書を関連付けられた多言語クエリと共にエンコードする。 本手法は,計算効率を維持しながら検索精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-03T03:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。