論文の概要: From Token to Item: Enhancing Large Language Models for Recommendation via Item-aware Attention Mechanism

• arxiv url: http://arxiv.org/abs/2603.19693v1
• Date: Fri, 20 Mar 2026 06:56:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.034104
• Title: From Token to Item: Enhancing Large Language Models for Recommendation via Item-aware Attention Mechanism
• Title（参考訳）: token to Item: Enhancing Large Language Models for Recommendation through Item-Aware Attention Mechanism
• Authors: Xiaokun Zhang, Bowei He, Jiamin Chen, Ziqiang Cui, Chen Ma,
• Abstract要約: 大規模言語モデル(LLM)は最近、推奨分野において注目を集めている。 我々は、推薦におけるトークンの役割を再考し、それらの関係を2つのタイプに分類する。 本稿では,LLMを推奨するために,アイテム認識型アテンション機構(IAM)を備えた新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.92505712532828
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have recently gained increasing attention in the field of recommendation. Existing LLM-based methods typically represent items as token sequences, and apply attention layers on these tokens to generate recommendations. However, by inheriting the standard attention mechanism, these methods focus on modeling token-level relations. This token-centric focus overlooks the item as the fundamental unit of recommendation, preventing existing methods from effectively capturing collaborative relations at the item level. In this work, we revisit the role of tokens in LLM-driven recommendation and categorize their relations into two types: (1) intra-item token relations, which present the content semantics of an item, e.g., name, color, and size; and (2) inter-item token relations, which encode collaborative relations across items. Building on these insights, we propose a novel framework with an item-aware attention mechanism (IAM) to enhance LLMs for recommendation. Specifically, IAM devises two complementary attention layers: (1) an intra-item attention layer, which restricts attention to tokens within the same item, modeling item content semantics; and (2) an inter-item attention layer, which attends exclusively to token relations across items, capturing item collaborative relations. Through this stacked design, IAM explicitly emphasizes items as the fundamental units in recommendation, enabling LLMs to effectively exploit item-level collaborative relations. Extensive experiments on several public datasets demonstrate the effectiveness of IAM in enhancing LLMs for personalized recommendation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は最近、推奨分野において注目を集めている。 既存のLCMベースのメソッドは通常、アイテムをトークンシーケンスとして表現し、これらのトークンに注意層を適用してレコメンデーションを生成する。 しかし、標準的な注意機構を継承することで、トークンレベルの関係のモデリングに重点を置いている。 このトークン中心の焦点は、アイテムを推奨の基本単位として見落とし、既存のメソッドがアイテムレベルで協調関係を効果的にキャプチャすることを防ぐ。 本研究では, LLM による推薦におけるトークンの役割を再考し,(1) 項目間の協調関係を符号化する項目間トークン関係,(2) 項目間トークン関係,(2) 項目間の協調関係を記述した項目間トークン関係の2つのタイプに分類する。 これらの知見に基づいて,LLMを推奨するために,アイテム認識型アテンション機構(IAM)を備えた新しいフレームワークを提案する。 具体的には,(1)同一項目内のトークンに対する注意を制限するイテム内注意層,(2)アイテム間のトークン関係にのみ参加し,項目間の協調関係を捉えるイテム間注意層,という2つの相補的注意層を考案する。 この積み重ねられた設計を通じて、IAMはアイテムを推奨の基本単位として強調し、LCMがアイテムレベルの協調関係を効果的に活用できるようにする。 いくつかの公開データセットに対する大規模な実験は、パーソナライズされたレコメンデーションのためのLLMの強化におけるIAMの有効性を示している。

関連論文リスト

• Enhancing LLM-based Recommendation with Preference Hint Discovery from Knowledge Graph [26.065016082075264]
  インタラクション統合知識グラフに基づく嗜好ヒント発見モデルを提案する。 候補属性の選好信頼性を定量化するために, インスタンス単位の二重アテンション機構を開発する。
  論文  参考訳（メタデータ） (2026-01-26T03:20:42Z)
• HatLLM: Hierarchical Attention Masking for Enhanced Collaborative Modeling in LLM-based Recommendation [17.271853114690902]
  HatLLMは、シーケンシャルレコメンデーションのための大規模言語モデル(LLM)の階層的なアテンションマスキング戦略である。 HatLLM は既存の LLM ベースの手法よりも大きなパフォーマンス向上(平均 9.13% )を実現している。
  論文  参考訳（メタデータ） (2025-10-13T03:05:03Z)
• LLM2Rec: Large Language Models Are Powerful Embedding Models for Sequential Recommendation [49.78419076215196]
  シーケンスレコメンデーションは、類似したユーザやアイテムの履歴行動から協調フィルタリング(CF)信号をモデル化することで、ユーザの将来のインタラクションを予測することを目的としている。 従来のシーケンシャルなレコメンダは、高次の共起パターンを通じてCF信号をキャプチャするIDベースの埋め込みに依存している。 大規模言語モデル(LLM)の最近の進歩は、テキスト記述からアイテム表現を導出するテキストベースのレコメンデーションアプローチを動機付けている。 理想的な埋め込みモデルは、ドメイン内およびドメイン外のレコメンデーションパフォーマンスを改善するために、CF信号とリッチなセマンティック表現をシームレスに統合すべきである、と我々は主張する。
  論文  参考訳（メタデータ） (2025-06-16T13:27:06Z)
• Knowledge Graph Completion with Relation-Aware Anchor Enhancement [50.50944396454757]
  関係認識型アンカー強化知識グラフ補完法(RAA-KGC)を提案する。 まず、ヘッダーのリレーショナル・アウェア・エリア内でアンカー・エンティティを生成します。 次に、アンカーの近傍に埋め込まれたクエリを引っ張ることで、ターゲットのエンティティマッチングに対してより差別的になるように調整する。
  論文  参考訳（メタデータ） (2025-04-08T15:22:08Z)
• Universal Item Tokenization for Transferable Generative Recommendation [89.42584009980676]
  本稿では、転送可能な生成レコメンデーションのためのユニバーサルアイテムトークン化手法であるUTGRecを提案する。 木構造コードブックを考案することにより、コンテンツ表現をアイテムトークン化のための対応するコードに識別する。 生のコンテンツ再構成には、アイテムテキストとイメージを離散表現から再構成するために、デュアルライトウェイトデコーダを用いる。 協調的知識統合においては,共起的アイテムが類似していると仮定し,共起的アライメントと再構築を通じて協調的信号を統合する。
  論文  参考訳（メタデータ） (2025-04-06T08:07:49Z)
• Enhancing Item Tokenization for Generative Recommendation through Self-Improvement [67.94240423434944]
  生成レコメンデーションシステムは大規模言語モデル(LLM)によって駆動される 現在のアイテムトークン化手法には、テキスト記述、数値文字列、離散トークンのシーケンスの使用が含まれる。 自己改善アイテムトークン化手法を提案し,LLMがトレーニングプロセス中に独自のアイテムトークン化を洗練できるようにする。
  論文  参考訳（メタデータ） (2024-12-22T21:56:15Z)
• LLM with Relation Classifier for Document-Level Relation Extraction [25.587850398830252]
  大規模言語モデル(LLM)は、自然言語処理のための新しいパラダイムを生み出した。 本稿では,この性能ギャップの原因を解明し,関係のないエンティティペアによるLCMによる注意の分散を重要要因とする。
  論文  参考訳（メタデータ） (2024-08-25T16:43:19Z)
• Hierarchical Latent Relation Modeling for Collaborative Metric Learning [8.59872983871365]
  CML(Collaborative Metric Learning)は、暗黙のフィードバックによる協調フィルタリングに基づく推奨のための強力なパラダイムとして最近登場した。 暗黙的なデータから潜在ユーザ・イテムとアイテム・イテムの関係を共同でキャプチャする階層型CMLモデルを提案する。 実世界の複数のデータセットにおける推薦タスクにおいて、既存のCMLモデルよりも優れた性能を発揮することにより、この連関関係モデルの有効性を実証的に示す。
  論文  参考訳（メタデータ） (2021-07-26T17:45:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。