論文の概要: Taming the Long Tail: Efficient Item-wise Sharpness-Aware Minimization for LLM-based Recommender Systems

• arxiv url: http://arxiv.org/abs/2603.12752v1
• Date: Fri, 13 Mar 2026 07:50:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:11.982157
• Title: Taming the Long Tail: Efficient Item-wise Sharpness-Aware Minimization for LLM-based Recommender Systems
• Title（参考訳）: LLMに基づくレコメンダシステムのための効率的なアイテムワイドシャープネス認識最小化
• Authors: Jiaming Zhang, Yuyuan Li, Xiaohua Feng, Li Zhang, Longfei Li, Jun Zhou, Chaochao Chen,
• Abstract要約: 大規模言語モデルに基づくレコメンダシステム(LRS)は、最近、シーケンシャルレコメンデーションにおいて新しいパラダイムとして登場した。 LRSは、事前学習したコーパスから暗黙的に継承される事前のロングテールと、歪んだレコメンデーションデータセットから派生したデータロングテールの2つの異なるタイプのロングテールに直面している。 EISAM(Efficient Item-wise Sharpness-Aware Minimization)を提案する。
• 参考スコア（独自算出の注目度）: 41.083124416296364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model-based Recommender Systems (LRSs) have recently emerged as a new paradigm in sequential recommendation by directly adopting LLMs as backbones. While LRSs demonstrate strong knowledge utilization and instruction-following abilities, they have not been systematically studied under the long-standing long-tail problem. In this paper, we conduct an empirical study and reveal that LRSs face two distinct types of long-tail: i) prior long-tail, inherited implicitly from pretraining corpora, and ii) data long-tail, originating from skewed recommendation datasets. Our analysis shows that both contribute to the performance disparity between head and tail items, with the intersection of the two heads exhibiting an even stronger head effect. Nevertheless, the overall performance distribution in LRSs, especially on the tail, remains dominated by the data long-tail. To address this challenge, we propose Efficient Item-wise Sharpness-Aware Minimization (EISAM), a novel optimization framework that improves tail-item performance by adaptively regularizing the loss landscape at the item level. EISAM introduces an efficient penalty design that captures fine-grained item-specific sharpness while maintaining computational scalability for LLMs. In addition, we derive a generalization bound for EISAM. Our theoretical analysis shows that the bound decreases at a faster rate under our item-wise regularization, offering theoretical support for its effectiveness. Extensive experiments on three real-world datasets demonstrate that EISAM significantly boosts tail-item recommendation performance while preserving overall quality, establishing the first systematic solution to the long-tail problem in LRSs.
• Abstract（参考訳）: 大規模言語モデルに基づくレコメンダシステム(LRS)は、最近、LSMをバックボーンとして直接採用することで、シーケンシャルレコメンデーションにおいて新しいパラダイムとして登場した。 LRSは強い知識利用と指示追従能力を示すが、長期にわたる長期的問題の下で体系的に研究されていない。 本稿では,実験的検討を行い,LRSが2種類のロングテールに直面していることを明らかにする。 一 前尾、前尾から暗黙的に受け継がれ、 ii)スキュードレコメンデーションデータセットに由来するデータ長テール。 以上の結果から,両頭部の交点がより強い頭部効果を示すとともに,頭部と尾部の材質の相違に寄与することが示唆された。 それでも、LSSの全体的な性能分布、特に尾部では、データ長テールが支配的である。 この課題に対処するために、アイテムレベルでのロスランドスケープを適応的に正規化することにより、テールイテム性能を改善する新しい最適化フレームワークであるEISAM(Efficient Item-wise Sharpness-Aware Minimization)を提案する。 EISAMは, LLMの計算スケーラビリティを維持しつつ, きめ細かい項目ごとのシャープさを捉える, 効率的なペナルティ設計を導入している。 さらに、EISAM の一般化を導出する。 我々の理論的分析は、その有効性に対する理論的支援を提供しながら、アイテムワイド正規化の下で、境界がより高速に減少することを示している。 3つの実世界のデータセットに対する大規模な実験により、EISAMは全体の品質を維持しながらテールイテムレコメンデーション性能を著しく向上させ、LSSにおけるロングテール問題に対する最初の体系的な解決策を確立した。

関連論文リスト

• Less Finetuning, Better Retrieval: Rethinking LLM Adaptation for Biomedical Retrievers via Synthetic Data and Model Merging [6.761707146228743]
  Retrieval-augmented Generation (RAG) はLarge Language Models (LLMs) のバックボーンとなった。 STM(Synthesize-Merge-Train)は,デコーダのみのLLMを,合成ハードネガティブ,検索プロンプト最適化,モデルマージで拡張するモジュラーフレームワークである。 MTEBベンチマークによる12の医療および一般タスクのサブセットの実験では、STMはタスク固有の専門家を最大23.5%(平均7.5%)増やし、単一の専門家と強力なベースラインの両方を広範囲の事前訓練なしで上回るマージモデルを生成する。
  論文  参考訳（メタデータ） (2026-02-04T16:36:00Z)
• Towards Sample-Efficient and Stable Reinforcement Learning for LLM-based Recommendation [56.92367609590823]
  Long Chain-of-Thought (Long CoT)推論は、Large Language Models (LLMs)において有望であることを示している。 我々はLong CoTが本質的にシーケンシャルなレコメンデーションドメインに不適合であると主張している。 提案するRISER(Reinforced Item Space Exploration framework for Recommendation)を提案する。
  論文  参考訳（メタデータ） (2026-01-31T10:02:43Z)
• Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs [60.68927774057402]
  はじめに、単純さのバイアスが小さくなれば、より良い一般化がもたらされることを示す。 この知見に触発されて、訓練後のサンプルのアップサンプリングや強化によるトレーニングデータ分布がSBを減少させ、一般化の改善につながることを示す。 我々はPhi2-2.7B, Llama3.2-1B, Gemma3-1B-PT, Qwen3-0.6B-Base など複数の言語モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2026-01-31T07:40:36Z)
• Prompt-Aware Scheduling for Low-Latency LLM Serving [4.410280212028576]
  本稿では,PLMタスクスケジューラPARSを紹介する。 最短ジョブ優先(SJF)スケジューリングを、ペアのランキングとマージンランキングの損失で近似する。 応答長ベースのタスク順序付けを効果的に予測し、オーバーヘッドを最小限に抑えてレイテンシを低減する。
  論文  参考訳（メタデータ） (2025-09-25T07:26:38Z)
• Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
  本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。 理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-05T23:54:53Z)
• A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
  大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。 本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
  論文  参考訳（メタデータ） (2024-10-24T14:31:52Z)
• Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG [36.754491649652664]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)に外部の知識ソースを利用する権限を与える。 本稿では, 回収した「ハードネガティブ」の有害な影響について考察する。 これを緩和し、長文LLMベースのRAGの堅牢性を高めるために、トレーニングフリーとトレーニングベースの両方のアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-08T12:30:07Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• DELRec: Distilling Sequential Pattern to Enhance LLMs-based Sequential Recommendation [7.914816884185941]
  逐次リコメンデーション(SR)タスクは,ユーザの行動シーケンスを学習し,過去のインタラクションと好みの変化を関連付けることによって,ユーザの次のインタラクションを予測することを目的としている。 従来のSRモデルは、外部ソースからアイテムタイトルに埋め込まれたより広いコンテキストや意味情報を無視して、トレーニングデータ内のシーケンシャルなパターンをキャプチャすることだけに重点を置いていることが多い。 大規模言語モデル(LLM)は、その高度な理解能力と強力な一般化能力により、最近SRタスクにおいて有望であることが示されている。
  論文  参考訳（メタデータ） (2024-06-17T02:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。