Fugu-MT 論文翻訳(概要): LBR: Towards Mitigating Length Bias in Large Language Models for Recommendation

論文の概要: LBR: Towards Mitigating Length Bias in Large Language Models for Recommendation

arxiv url: http://arxiv.org/abs/2607.04270v1
Date: Sun, 05 Jul 2026 12:31:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-07 22:26:29.880619
Title: LBR: Towards Mitigating Length Bias in Large Language Models for Recommendation
Title（参考訳）: LBR:リコメンデーションのための大規模言語モデルにおける長さバイアスの緩和に向けて
Abstract要約: 大規模言語モデル(LLM)は、推奨システムのための強力なバックボーンとして登場した。しかし、入力側では、長い項目の記述がコンテキスト内でより多くのトークンを占有しているため、ユーザー好みのモデリングにおいて、不均等に大きなアグリゲーションマスを受け取ることができる。 LLMに基づく推奨において長さバイアスを緩和する軽量かつモデルに依存しないフレームワークである$textbfLBRを提案する。
参考スコア（独自算出の注目度）: 8.352000494969586
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) have recently emerged as powerful backbones for recommender systems by reformulating recommendation as a token-level generation task. Despite their promise, we identify a pervasive yet underexplored issue: $\textit{Length Bias}$. Because items are represented by textual descriptions of varying lengths, LLM-based recommenders can be systematically biased in two ways. On the input side, longer item descriptions occupy more tokens in the context and thus receive disproportionately large aggregate attention mass during user preference modeling. On the output side, decoding based on summed autoregressive log-likelihood score inherently disfavors long items. Worse still, conventional length normalization can introduce an additional bias and even degrade recommendation performance. To address this problem, we propose $\textbf{LBR}$ ($\textbf{L}$ength $\textbf{B}$ias $\textbf{R}$eduction), a lightweight and model-agnostic framework for mitigating length bias in LLM-based recommendation. LBR mitigates input-side bias via Length-Aware Attention Calibration, which incorporates a length-dependent offset into attention logits to neutralize attention skew. For the output side, LBR introduces Effective Information Length Normalization, replacing naive token count with an information-theoretic length surrogate derived from the branching structure of the prefix tree. Extensive experiments on three real-world Amazon datasets and two representative LLM-based recommenders demonstrate that LBR substantially alleviates length bias while consistently improving recommendation accuracy and fairness, with negligible additional training and inference overhead (with an average NDCG@5 gain of 16.82%). The code is available at https://github.com/Void-JackLee/LBR.
Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、トークンレベルの生成タスクとしてレコメンデーションを変更することでレコメンデーションシステムのための強力なバックボーンとして登場した。その約束にもかかわらず、私たちは広くは調査されていない問題を特定します。項目は長さの異なるテキスト記述で表されるため、LLMベースのレコメンデータは2つの方法で体系的にバイアスを受けることができる。入力側では、より長い項目記述がコンテキスト内でより多くのトークンを占有し、ユーザ好みのモデリング中に不均等に大きなアグリゲーションマスを受け取る。出力側では、要約された自己回帰的ログ類似スコアに基づく復号化は、本質的に長い項目を好まない。さらに悪いことに、従来の長さ正規化はさらなるバイアスをもたらし、レコメンデーション性能を低下させる。この問題に対処するために、LLMベースの推奨において長さバイアスを軽減する軽量でモデルに依存しないフレームワークである$\textbf{L}$$$$\textbf{L}$ength $\textbf{B}$ias $\textbf{R}$eductionを提案する。 LBRはLngth-Aware Attention Calibrationを介して入力側バイアスを緩和する。出力側では、LBRが有効情報長正規化を導入し、プレフィックスツリーの分岐構造から派生した情報理論的長さサロゲートにネイブトークンカウントを置き換える。実世界の3つのAmazonデータセットと2つのLLMベースのリコメンデータに対する大規模な実験は、LBRが推奨精度と公正性を一貫して改善し、無視できる追加トレーニングと推論オーバーヘッド(平均的NDCG@5ゲイン16.82%)で、長さバイアスを大幅に軽減していることを示している。コードはhttps://github.com/Void-JackLee/LBRで公開されている。

関連論文リスト

PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。 PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文参考訳（メタデータ） (2026-06-20T14:32:14Z)
Towards Position-Robust Talent Recommendation via Large Language Models [2.145037859243627]
大規模言語モデル(LLM)を用いたリストワイズ人材推薦のための新しいフレームワークであるL3TRを提案する。本稿では,文書間処理を強化し,位置バイアスと同時トークンバイアスを緩和するブロックアテンション機構と局所位置符号化手法を提案する。 2つの実世界のデータセットの実験により、L3TRの有効性が検証され、既存のベースラインよりも一貫した改善が示された。
論文参考訳（メタデータ） (2026-04-02T15:54:03Z)
SimGR: Escaping the Pitfalls of Generative Decoding in LLM-based Recommendation [68.00727783181289]
推薦システムの中核的な目的は、パーソナライズされたレコメンデーションを可能にするために、アイテムよりもユーザの好みの分布を正確にモデル化することである。アイテムレベルの嗜好分布を推定する際に,既存の手法が必然的に系統的バイアスを生じさせることを観察する。 textbfSimply textbfGenerative textbfRecommendation (textbfSimGR)を提案する。
論文参考訳（メタデータ） (2026-02-08T07:26:52Z)
CoLD: Counterfactually-Guided Length Debiasing for Process Reward Models [29.95434387343843]
本稿では,3つのコンポーネントによる長さバイアスを緩和する統合フレームワークを提案する。 CoLDは一貫して報酬長相関を減少させ、ステップ選択の精度を改善し、より簡潔で論理的に妥当な推論を促進する。
論文参考訳（メタデータ） (2025-07-21T15:07:59Z)
R$^2$ec: Towards Large Recommender Models with Reasoning [59.32598867813266]
R$2$ecは、本質的な推論能力を持つ統一された大型レコメンデータモデルである。 R$2$ecは、推論チェーン生成と効率的なアイテム予測の両方を単一のモデルでサポートするデュアルヘッドアーキテクチャを導入している。注釈付き推論データの欠如を克服するため、強化学習フレームワークであるRecPOを設計する。
論文参考訳（メタデータ） (2025-05-22T17:55:43Z)
Bias Fitting to Mitigate Length Bias of Reward Model in RLHF [81.44256822500257]
人間のフィードバックからの強化学習は、大きな言語モデルと人間の好みを合わせるための報酬モデルに依存している。バイアスパターンを自律的に学習し,修正するフレームワークであるFiMi-RMを提案する。実験により,FiMi-RMはよりバランスの取れた長さ逆分布を実現することが示された。
論文参考訳（メタデータ） (2025-05-19T08:29:28Z)
Disentangling Length Bias In Preference Learning Via Response-Conditioned Modeling [87.17041933863041]
RLHF(Reinforcement Learning from Human Feedback)は,大規模言語モデル(LLM)の整合化に成功している。我々は、長さバイアス軽減と長さ指示に従うモデルの性能を高めるために、$textbfR$esponse-$textbfc$onditioned $textbfB$radley-$textbfT$erry (Rc-BT)モデルを導入する。また、報酬モデルと直接ポリシー最適化のためにRc-BTモデルを利用するRc-RMおよびRc-DPOアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-02-02T14:50:25Z)
REFA: Reference Free Alignment for multi-preference optimization [27.079664155329535]
本稿では、終端を制御する構造トークンの確率的制御を提案する新しいアライメントフレームワークREFAを紹介する。 REFAは60.29%の勝利率と52.17%のAlpacaEval2とLlama-3-8B-Instructを達成している。
論文参考訳（メタデータ） (2024-12-20T22:25:23Z)
Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding [61.45448947483328]
LLMベースのレコメンダシステム(LASER)の投機的復号化によるロスレス高速化について紹介する。 LASERは、検索効率を高めるためのカスタマイズされた検索プールと、ドラフトトークンの受け入れ率を改善するための緩和検証を備えている。 LASERは公開データセットの3～5倍のスピードアップを実現し、オンラインA/Bテスト中に約67%の計算リソースを節約する。
論文参考訳（メタデータ） (2024-08-11T02:31:13Z)
ELCoRec: Enhance Language Understanding with Co-Propagation of Numerical and Categorical Features for Recommendation [38.64175351885443]
大規模言語モデルは自然言語処理(NLP)領域で栄えている。レコメンデーション指向の微調整モデルによって示された知性にもかかわらず、LLMはユーザーの行動パターンを完全に理解するのに苦労している。既存の作業は、その重要な情報を導入することなく、与えられたテキストデータに対してのみLLMを微調整するだけである。
論文参考訳（メタデータ） (2024-06-27T01:37:57Z)
Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
論文参考訳（メタデータ） (2024-05-29T17:55:03Z)
Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators [59.48172585509628]
自動評価におけるバイアスを制御するための簡単な回帰分析手法を提案する。そこで本研究では,ALpacaEvalの長さバイアスの低減に焦点をあてる。
論文参考訳（メタデータ） (2024-04-06T02:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。