論文の概要: Efficient Cold-Start Recommendation via BPE Token-Level Embedding Initialization with LLM

• arxiv url: http://arxiv.org/abs/2509.13179v1
• Date: Tue, 16 Sep 2025 15:32:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:53.151654
• Title: Efficient Cold-Start Recommendation via BPE Token-Level Embedding Initialization with LLM
• Title（参考訳）: BPEToken-Level Embedding Initialization with LLM による高効率コールドスタート勧告
• Authors: Yushang Zhao, Xinyue Han, Qian Leng, Qianyi Sun, Haotian Lyu, Chengrui Zhou,
• Abstract要約: 本稿では,サブワードレベルの表現に基づく効率的なコールドスタートレコメンデーション戦略を提案する。 BPE語彙に整合したきめ細かいトークンレベルのベクトルを得る。 サブワード認識埋め込みを用いることで、より一般化し、より解釈可能であることを示す。
• 参考スコア（独自算出の注目度）: 1.1049570075807806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The cold-start issue is the challenge when we talk about recommender systems, especially in the case when we do not have the past interaction data of new users or new items. Content-based features or hybrid solutions are common as conventional solutions, but they can only work in a sparse metadata environment with shallow patterns. In this paper, the efficient cold-start recommendation strategy is presented, which is based on the sub word-level representations by applying Byte Pair Encoding (BPE) tokenization and pre-trained Large Language Model (LLM) embedding in the initialization procedure. We obtain fine-grained token-level vectors that are aligned with the BPE vocabulary as opposed to using coarse-grained sentence embeddings. Together, these token embeddings can be used as dense semantic priors on unseen entities, making immediate recommendation performance possible without user-item interaction history. Our mechanism can be compared to collaborative filtering systems and tested over benchmark datasets with stringent cold-start assumptions. Experimental findings show that the given BPE-LLM method achieves higher Recall@k, NDCG@k, and Hit Rate measurements compared to the standard baseline and displays the same capability of sufficient computational performance. Furthermore, we demonstrate that using subword-aware embeddings yields better generalizability and is more interpretable, especially within a multilingual and sparse input setting. The practical application of token-level semantic initialization as a lightweight, but nevertheless effective extension to modern recommender systems in the zero-shot setting is indicated within this work.
• Abstract（参考訳）: コールドスタート問題は、特に新しいユーザや新しいアイテムの過去のインタラクションデータを持っていない場合に、リコメンデータシステムについて話すときの課題である。 コンテンツベースの機能やハイブリッドソリューションは、従来のソリューションとしては一般的なものですが、浅いパターンを持つスパースメタデータ環境でのみ機能します。 本稿では,Byte Pair Encoding(BPE)トークン化とLLM(Large Language Model)を初期化処理に組み込んだサブワードレベル表現に基づく,効率的なコールドスタートレコメンデーション戦略を提案する。 粗粒度文埋め込みとは対照的に,BPE語彙に整合した細粒度トークンレベルのベクトルを得る。 これらのトークンの埋め込みは、目に見えないエンティティの密接なセマンティックプリエントとして使用することができ、ユーザとイテムのインタラクション履歴なしで即時にレコメンデーションパフォーマンスを実現することができる。 我々のメカニズムは協調フィルタリングシステムと比較でき、厳密なコールドスタート仮定を持つベンチマークデータセット上でテストできる。 実験結果から, 与えられたBPE-LLM法は標準ベースラインよりも高いリコール@k, NDCG@k, ヒットレート測定を実現し, 十分な計算性能を示すことがわかった。 さらに、サブワード認識埋め込みを用いることにより、より一般化し、特に多言語でスパースな入力設定において、より解釈可能であることを示す。 トークンレベルのセマンティック初期化を軽量だが、それでもゼロショット設定における現代のレコメンデータシステムへの効果的な拡張として実用的に適用することは、この研究の中で示される。

関連論文リスト

• Instructional Prompt Optimization for Few-Shot LLM-Based Recommendations on Cold-Start Users [12.794692175339668]
  コールドスタートユーザ問題はさらに、過去の行動情報へのアクセスを制限するリコメンデータシステムの有効性を損なう。 数ショット大言語モデル(LLM)の命令プロンプトを最適化するための文脈条件付きプロンプト定式化手法を提案する。 LLMパイプラインにおけるコールドスタートレコメンデーション問題に対処する方法の1つとして,プロンプトベースの適応が考えられる。
  論文  参考訳（メタデータ） (2025-09-11T00:13:17Z)
• Tree-Based Text Retrieval via Hierarchical Clustering in RAGFrameworks: Application on Taiwanese Regulations [0.0]
  階層的なクラスタリングに基づく検索手法を提案する。 本手法は,意味的関連コンテンツを適応的に選択しながら,システム応答の精度と関連性を維持する。 我々のフレームワークは実装が簡単で、既存のRAGパイプラインと簡単に統合できます。
  論文  参考訳（メタデータ） (2025-06-16T15:34:29Z)
• HYPEROFA: Expanding LLM Vocabulary to New Languages via Hypernetwork-Based Embedding Initialization [50.27950279695363]
  多くの事前訓練された言語モデル (PLM) は、中級言語と低級言語で最適な性能を示す。 これを解決するための一般的な戦略は、ターゲット言語固有の新しいトークンを導入し、埋め込みを初期化し、ターゲット言語データに連続的な事前トレーニングを適用することである。 より適応的なトークン埋め込みのためのハイパーネットワークベースのアプローチであるHYPEROFAを提案する。
  論文  参考訳（メタデータ） (2025-04-21T19:40:32Z)
• Generative Recommendation with Continuous-Token Diffusion [11.23267167046234]
  大規模言語モデル(LLM)に基づく推薦システム(RecSys)のための新しいフレームワークを提案する。 DeftRecはtextbfdenoising ditextbfffusionモデルを導入し、LLMベースのRecSysがインプットとターゲットとして連続的なtextbftokenをシームレスにサポートできるようにする。 連続トークンが出力として与えられると、スコアベースの検索によって簡単にレコメンデーションを生成することができる。
  論文  参考訳（メタデータ） (2025-04-16T12:01:03Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• LEARN: Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application [54.984348122105516]
  Llm-driven knowlEdge Adaptive RecommeNdation (LEARN)フレームワークは、オープンワールドの知識と協調的な知識をシナジする。 オープンワールドの知識と協調的な知識を相乗化するLlm-driven knowlEdge Adaptive RecommeNdation (LEARN) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-07T04:00:30Z)
• Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System [19.8986219047121]
  協調フィルタリング推薦システム (CF-RecSys) は, ソーシャルメディアやeコマースプラットフォーム上でのユーザエクスペリエンス向上に成功している。 近年の戦略は、事前訓練されたモダリティエンコーダと大規模言語モデルに基づくユーザ/イテムのモダリティ情報の活用に重点を置いている。 コールドシナリオだけでなく、ウォームシナリオにおいても優れたA-LLMRecと呼ばれる全周LCMベースのレコメンダシステムを提案する。
  論文  参考訳（メタデータ） (2024-04-17T13:03:07Z)
• Large Language Models are Competitive Near Cold-start Recommenders for Language- and Item-based Preferences [33.81337282939615]
  言語ベースの嗜好を表現するダイアログインタフェースは、嗜好入力に対して根本的に異なるモダリティを提供する。 近年の大規模言語モデル(LLM)のパラダイム導入の成功に触発されて,提案手法の活用について検討した。
  論文  参考訳（メタデータ） (2023-07-26T14:47:15Z)
• Learning to Learn a Cold-start Sequential Recommender [70.5692886883067]
  コールドスタート勧告は、現代のオンラインアプリケーションにおいて緊急の問題である。 メタ学習に基づくコールドスタートシーケンシャルレコメンデーションフレームワークMetaCSRを提案する。 MetaCSRは、通常のユーザの行動から共通のパターンを学ぶ能力を持っている。
  論文  参考訳（メタデータ） (2021-10-18T08:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。