論文の概要: HatLLM: Hierarchical Attention Masking for Enhanced Collaborative Modeling in LLM-based Recommendation

• arxiv url: http://arxiv.org/abs/2510.10955v1
• Date: Mon, 13 Oct 2025 03:05:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.169797
• Title: HatLLM: Hierarchical Attention Masking for Enhanced Collaborative Modeling in LLM-based Recommendation
• Title（参考訳）: HatLLM: LLMベースの勧告における協調的モデリング強化のための階層的意識マスキング
• Authors: Yu Cui, Feng Liu, Jiawei Chen, Canghong Jin, Xingyu Lou, Changwang Zhang, Jun Wang, Yuegang Sun, Can Wang,
• Abstract要約: HatLLMは、シーケンシャルレコメンデーションのための大規模言語モデル(LLM)の階層的なアテンションマスキング戦略である。 HatLLM は既存の LLM ベースの手法よりも大きなパフォーマンス向上(平均 9.13% )を実現している。
• 参考スコア（独自算出の注目度）: 17.271853114690902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed a surge of research on leveraging large language models (LLMs) for sequential recommendation. LLMs have demonstrated remarkable potential in inferring users' nuanced preferences through fine-grained semantic reasoning. However, they also exhibit a notable limitation in effectively modeling collaborative signals, i.e., behavioral correlations inherent in users' historical interactions. Our empirical analysis further reveals that the attention mechanisms in LLMs tend to disproportionately focus on tokens within the same item, thereby impeding the capture of cross-item correlations. To address this limitation, we propose a novel hierarchical attention masking strategy for LLM-based recommendation, termed HatLLM. Specifically, in shallow layers, HatLLM masks attention between tokens from different items, facilitating intra-item semantic understanding; in contrast, in deep layers, HatLLM masks attention within items, thereby compelling the model to capture cross-item correlations. This progressive, layer-wise approach enables LLMs to jointly model both token-level and item-level dependencies. Extensive experiments on three real-world datasets demonstrate that HatLLM achieves significant performance gains (9.13% on average) over existing LLM-based methods.
• Abstract（参考訳）: 近年、大規模言語モデル(LLM)を逐次推奨するために活用する研究が急増しているのを目撃している。 LLMは、きめ細かいセマンティック推論を通じて、ユーザのニュアンスな嗜好を推測する際、顕著な可能性を証明している。 しかし、それらはまた、ユーザの歴史的相互作用に固有の行動相関を効果的にモデル化する上で、顕著な限界も示している。 我々の経験的分析により、LLMの注意機構は同一項目内のトークンに不均等に集中する傾向にあり、これにより相互相関の捕捉を阻害することが明らかとなった。 この制限に対処するため,LLM ベースのレコメンデーションのための新しい階層型アテンションマスキング戦略である HatLLM を提案する。 特に浅い層では、HatLLMは異なるアイテムからのトークン間の注意をマスキングし、アイテム間のセマンティック理解を促進する。 このプログレッシブでレイヤワイドなアプローチにより、LLMはトークンレベルとアイテムレベルの依存関係の両方を共同でモデル化することができる。 3つの実世界のデータセットに対する大規模な実験は、HatLLMが既存のLCMベースの手法よりも大きなパフォーマンス向上(平均9.13%)を達成したことを示している。

関連論文リスト

• What LLMs Miss in Recommendations: Bridging the Gap with Retrieval-Augmented Collaborative Signals [4.297070083645049]
  ユーザとイテムのインタラクションには、多くの成功したレコメンデーションシステムのバックボーンを形成する、リッチなコラボレーティブなシグナルが含まれている。 大規模言語モデル(LLM)がこの種類の協調的な情報を効果的に説明できるかどうかは不明だ。 構造化された相互作用データにそれらの予測を基礎づけることによりLLMを強化する単純な検索拡張生成(RAG)手法を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:18:57Z)
• Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation [67.84581846180458]
  セッションベースのレコメンデーション(SBR)は、匿名セッションに基づいて次の項目を予測する。 近年のMultimodal SBR法は、モダリティ学習に単純化された事前学習モデルを用いるが、セマンティック・リッチネスに制限がある。 蒸留パラダイムを拡張し,MSBRの促進のための遷移パターンを分離・整合させる多モードLCM拡張フレームワークTPADを提案する。
  論文  参考訳（メタデータ） (2025-04-13T07:49:08Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• CogSteer: Cognition-Inspired Selective Layer Intervention for Efficiently Steering Large Language Models [37.476241509187304]
  大規模言語モデル(LLM)は、広範囲なデータに対する事前学習を通じて、優れたパフォーマンスを達成する。 基本的なメカニズムにおける解釈可能性の欠如は、特定のアプリケーションに対してLLMを効果的に操る能力を制限する。 本稿では,パラメータ効率の優れた微調整法に基づく効率的な選択的層干渉法を提案する。
  論文  参考訳（メタデータ） (2024-10-23T09:40:15Z)
• LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation [57.49045064294086]
  大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。 LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• LLM with Relation Classifier for Document-Level Relation Extraction [25.587850398830252]
  大規模言語モデル(LLM)は、自然言語処理のための新しいパラダイムを生み出した。 本稿では,この性能ギャップの原因を解明し,関係のないエンティティペアによるLCMによる注意の分散を重要要因とする。
  論文  参考訳（メタデータ） (2024-08-25T16:43:19Z)
• Incorporating LLM Priors into Tabular Learners [6.835834518970967]
  分類変数のランク付けにLarge Language Models(LLM)を利用する2つの戦略を導入する。 我々は、順序を基数にマッピングするために非線形単調関数を用いるモノトニックLRを導入する、ロジスティック回帰に焦点を当てる。
  論文  参考訳（メタデータ） (2023-11-20T09:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。