論文の概要: Field Matters: A lightweight LLM-enhanced Method for CTR Prediction

• arxiv url: http://arxiv.org/abs/2505.14057v1
• Date: Tue, 20 May 2025 08:02:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.875262
• Title: Field Matters: A lightweight LLM-enhanced Method for CTR Prediction
• Title（参考訳）: 電界物質:CTR予測のための軽量LLM法
• Authors: Yu Cui, Feng Liu, Jiawei Chen, Xingyu Lou, Changwang Zhang, Jun Wang, Yuegang Sun, Xiaohu Yang, Can Wang,
• Abstract要約: LLaCTRは、フィールドレベルの拡張パラダイムを用いた、新しく軽量なLCM拡張CTR法である。 具体的には、LLaCTRはLLMを用いて、自己教師付きフィールド機能微調整により、小規模の特徴フィールドから重要で軽量なセマンティック知識を抽出する。 実験では,LLaCTRを4つのデータセットにまたがる6つの代表的CTRモデルと統合し,有効性と効率の両面で優れた性能を示す。
• 参考スコア（独自算出の注目度）: 15.645862378301574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Click-through rate (CTR) prediction is a fundamental task in modern recommender systems. In recent years, the integration of large language models (LLMs) has been shown to effectively enhance the performance of traditional CTR methods. However, existing LLM-enhanced methods often require extensive processing of detailed textual descriptions for large-scale instances or user/item entities, leading to substantial computational overhead. To address this challenge, this work introduces LLaCTR, a novel and lightweight LLM-enhanced CTR method that employs a field-level enhancement paradigm. Specifically, LLaCTR first utilizes LLMs to distill crucial and lightweight semantic knowledge from small-scale feature fields through self-supervised field-feature fine-tuning. Subsequently, it leverages this field-level semantic knowledge to enhance both feature representation and feature interactions. In our experiments, we integrate LLaCTR with six representative CTR models across four datasets, demonstrating its superior performance in terms of both effectiveness and efficiency compared to existing LLM-enhanced methods. Our code is available at https://anonymous.4open.science/r/LLaCTR-EC46.
• Abstract（参考訳）: クリックスルー率(CTR)予測は、現代のレコメンデータシステムにおける基本的な課題である。 近年,大規模言語モデル(LLM)の統合により,従来のCTR手法の性能向上が図られている。 しかし、既存の LLM 拡張手法では、大規模インスタンスやユーザ/イテムエンティティの詳細なテキスト記述を広範囲に処理する必要があることが多く、計算オーバーヘッドが大幅に増大する。 この課題に対処するために、フィールドレベルの拡張パラダイムを用いた、新しく軽量なLLM拡張CTR法であるLLaCTRを導入する。 具体的には、LLaCTRはLLMを用いて、自己教師付きフィールド機能微調整により、小規模の特徴フィールドから重要で軽量なセマンティック知識を抽出する。 その後、このフィールドレベルのセマンティック知識を活用し、特徴表現と特徴相互作用の両方を強化する。 実験では,LLaCTRを4つのデータセットにまたがる6つの代表的CTRモデルと統合し,既存のLLM法と比較して,有効性と効率の両面で優れた性能を示す。 私たちのコードはhttps://anonymous.4open.science/r/LLaCTR-EC46で公開されています。

関連論文リスト

• RACOON: An LLM-based Framework for Retrieval-Augmented Column Type Annotation with a Knowledge Graph [5.080968323993759]
  我々は、Large Language Models(LLMs)が提供するコンテキスト情報を増やすために知識グラフを使用する方法を示す。 RACOONと呼ばれる我々の手法は、生成中に事前訓練されたパラメトリック知識と非パラメトリック知識を組み合わせることで、カラム型におけるLLMの性能を向上させる。 実験の結果, RACOONはバニラLEM推定と比較して最大0.21マイクロF-1の改善を達成できた。
  論文  参考訳（メタデータ） (2024-09-22T18:39:27Z)
• Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
  Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。 本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:16:03Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Automated Commit Message Generation with Large Language Models: An Empirical Study and Beyond [24.151927600694066]
  コミットメッセージ生成(CMG)アプローチは、与えられたコード差分に基づいてコミットメッセージを自動的に生成することを目的としている。 本稿では,Large Language Models (LLMs) を用いて高品質なコミットメッセージの生成にどの程度の期間を費やしてきたかを調べるための,最初の包括的な実験を行う。
  論文  参考訳（メタデータ） (2024-04-23T08:24:43Z)
• Breaking the Length Barrier: LLM-Enhanced CTR Prediction in Long Textual User Behaviors [25.086118164540974]
  大型言語モデル(LLM)はクリックスルー率(CTR)予測の性能を向上させるために用いられる。 ユーザシーケンスが長くなるにつれて、LLMの現在の効率は数十億のユーザやアイテムのトレーニングに不十分である。 我々は,LLMに基づくCTRモデリングの効率を高めるために,行動集約階層(BAHE)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T12:05:15Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。