論文の概要: On the Memorization Behavior of LLMs in Generative Recommendation: Observations, Implications, and Training Strategies

• arxiv url: http://arxiv.org/abs/2606.17276v2
• Date: Wed, 17 Jun 2026 17:24:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.778831
• Title: On the Memorization Behavior of LLMs in Generative Recommendation: Observations, Implications, and Training Strategies
• Title（参考訳）: ジェネレーションレコメンデーションにおけるLCMの記憶行動:観察,含意,訓練方略
• Authors: Sunwoo Kim, Sunkyung Lee, Clark Mingxuan Ju, Donald Loveland, Bhuvesh Kumar, Kijung Shin, Neil Shah, Liam Collins,
• Abstract要約: ジェネレーティブレコメンデーション(GR)は、レコメンデーションシステムにとって有望な方向として登場した。 本研究では,学習データ中の項目を直接継承する項目をモデルに推薦するワンホップ記憶について検討する。 IIRGは,(1)ユーザシーケンス内の複数のホップにまたがる項目の共起関係と(2)類似のテーマを持つ項目間の意味関係を関連づける。
• 参考スコア（独自算出の注目度）: 47.639760501137964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative recommendation (GR) has emerged as a promising direction for recommender systems. Recently, large language models (LLMs) have been increasingly adopted for GR, as their rich pretrained knowledge is expected to help them generalize beyond common user behavior patterns that traditional memorization-oriented baselines can capture. However, existing LLM-based GR works largely ignore LLMs' well-known tendency to memorize, which, if present in LLMs fine-tuned for GR, would restrict their utilization of pretrained knowledge. In this work, we investigate this concern by examining one-hop memorization, where a model recommends items that are direct successors of items in the training data. We show that LLMs do this more than non-LLM-based GR models-in fact, the vast majority of their gains over GR baselines are actually on users whose target items can be predicted through one-hop memorization. We intuit that improving performance on the remaining users requires LLMs to learn richer item-item relations beyond one-hop transitions. To achieve this, we propose IIRG, a novel training strategy that teaches LLMs to capture: (1) collaborative relations derived from item co-occurrences across multiple hops in user sequences, and (2) semantic relations among items with similar themes, both of which can serve as useful recommendation signals. We show that IIRG significantly improves over LLMs trained solely with standard next-item prediction, with especially large gains for users whose test items are not covered by train-time one-hop transitions.
• Abstract（参考訳）: ジェネレーティブレコメンデーション(GR)は、レコメンデーションシステムにとって有望な方向として登場した。 近年,大規模な言語モデル (LLM) がGRに採用されつつある。その豊富な事前訓練された知識は,従来の記憶指向のベースラインが捉えるような,一般的なユーザ行動パターンを超越した一般化を支援することが期待されている。 しかし、既存の LLM ベースの GR は LLM の暗記傾向をほとんど無視しており、GR のために微調整された LLM に存在していると、事前訓練された知識の利用を制限することになる。 そこで本研究では,モデルがトレーニングデータ中の項目の直接後継者である項目を推薦するワンホップ記憶(one-hop memorization)について検討する。 LLMが非LLMベースGRモデルよりもこれを実現していることを示す。実際、GRベースラインよりも多くの利益は、実際にはワンホップ記憶によってターゲットアイテムを予測できるユーザに依存している。 残りのユーザの性能向上には,LLMがワンホップ・トランジションを超えて,よりリッチなアイテム・イテム関係を学習する必要があることを示唆する。 そこで本研究では,(1)複数のホップにまたがる複数項目の協調関係と(2)類似のテーマを持つ項目間の意味的関係を,双方が有用なレコメンデーション信号として機能させることで,LLMを捕捉する新たなトレーニング戦略であるIIRGを提案する。 IIRG は,標準次点予測のみを訓練した LLM よりも大幅に改善され,特にテスト項目が列車時ワンホップ遷移によってカバーされないユーザにとって大きな改善が見られた。

関連論文リスト

• Memory-Based Advantage Shaping for LLM-Guided Reinforcement Learning [18.215893951726166]
  スパースや遅延した報酬のある環境では、強化学習は高いサンプル複雑さを引き起こす。 この制限は、大規模言語モデル(LLM)をサブゴール発見や軌道誘導に使う動機となった。 LLMガイダンスとエージェント自身のロールアウトの成功の両方から,サブゴールとトラジェクトリを符号化したメモリグラフを構築することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2026-02-20T01:44:35Z)
• What LLMs Miss in Recommendations: Bridging the Gap with Retrieval-Augmented Collaborative Signals [4.297070083645049]
  ユーザとイテムのインタラクションには、多くの成功したレコメンデーションシステムのバックボーンを形成する、リッチなコラボレーティブなシグナルが含まれている。 大規模言語モデル(LLM)がこの種類の協調的な情報を効果的に説明できるかどうかは不明だ。 構造化された相互作用データにそれらの予測を基礎づけることによりLLMを強化する単純な検索拡張生成(RAG)手法を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:18:57Z)
• DeepRec: Towards a Deep Dive Into the Item Space with Large Language Model Based Recommendation [83.21140655248624]
  大型言語モデル (LLM) はレコメンダシステム (RS) に導入された。 本稿では, LLM と TRM の自律的マルチターンインタラクションを実現する新しい RS である DeepRec を提案する。 公開データセットの実験では、DeepRecは従来のものとLLMベースのベースラインの両方で大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2025-05-22T15:49:38Z)
• Bayesian Teaching Enables Probabilistic Reasoning in Large Language Models [54.38054999271322]
  我々は,大規模言語モデル (LLM) がベイジアンフレームワークから期待されているように,彼らの信念を更新しないことを示す。 我々は、標準ベイズモデルの予測を模倣するように訓練することで、ベイズ的方法による推論をLLMに教える。 より一般的には,LLMは実例から推論スキルを効果的に学習し,それらのスキルを新しいドメインに一般化できることを示す。
  論文  参考訳（メタデータ） (2025-03-21T20:13:04Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph [29.447300472617826]
  Think-on-Graph (ToG)は、大規模言語モデル(LLM)における外部知識グラフ(KG)に対する新しいアプローチである。 ToGはKG上でビームサーチを繰り返し実行し、最も有望な推論経路を発見し、最も可能性の高い推論結果を返す。 ToGは、以前のSOTAが追加トレーニングに依存する9つのデータセットのうち6つで、全体的なSOTAを達成する。
  論文  参考訳（メタデータ） (2023-07-15T03:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。