論文の概要: Decoding Matters: Addressing Amplification Bias and Homogeneity Issue for LLM-based Recommendation

• arxiv url: http://arxiv.org/abs/2406.14900v3
• Date: Tue, 05 Nov 2024 06:52:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-09 19:50:49.596001
• Title: Decoding Matters: Addressing Amplification Bias and Homogeneity Issue for LLM-based Recommendation
• Title（参考訳）: 復号化問題:LLM勧告における増幅バイアスと均一性問題への対応
• Authors: Keqin Bao, Jizhi Zhang, Yang Zhang, Xinyue Huo, Chong Chen, Fuli Feng,
• Abstract要約: Debiasing-Diversifying Decoding (D3) という新しいデコード手法を導入する。 D3はゴーストトークンの長さ正規化を無効にして増幅バイアスを軽減する。 実世界のデータセットの実験では、この手法の有効性が示されている。
• 参考スコア（独自算出の注目度）: 32.85339480783571
• License:
• Abstract: Adapting Large Language Models (LLMs) for recommendation requires careful consideration of the decoding process, given the inherent differences between generating items and natural language. Existing approaches often directly apply LLMs' original decoding methods. However, we find these methods encounter significant challenges: 1) amplification bias -- where standard length normalization inflates scores for items containing tokens with generation probabilities close to 1 (termed ghost tokens), and 2) homogeneity issue -- generating multiple similar or repetitive items for a user. To tackle these challenges, we introduce a new decoding approach named Debiasing-Diversifying Decoding (D3). D3 disables length normalization for ghost tokens to alleviate amplification bias, and it incorporates a text-free assistant model to encourage tokens less frequently generated by LLMs for counteracting recommendation homogeneity. Extensive experiments on real-world datasets demonstrate the method's effectiveness in enhancing accuracy and diversity. The code is available at https://github.com/SAI990323/DecodingMatters.
• Abstract（参考訳）: 大規模言語モデル (LLM) を推奨するためには、生成項目と自然言語に固有の違いがあるため、復号処理を慎重に検討する必要がある。 既存のアプローチは、しばしばLLMのオリジナルの復号法を直接適用する。 しかし、これらの手法は重大な課題に直面している。 1)増幅バイアス -- 標準長正規化は、1(確定したゴーストトークン)に近い生成確率のトークンを含む項目のスコアを膨らませる。 2) 均質性の問題 -- ユーザのために複数の類似または反復的なアイテムを生成する。 これらの課題に対処するために、Debiasing-Diversifying Decoding (D3) という新しいデコード手法を導入する。 D3は、ゴーストトークンの長さ正規化を無効にし、増幅バイアスを緩和し、テキストフリーアシスタントモデルを導入し、LLMがあまり頻繁に発生しないトークンを推奨均質に対処する。 実世界のデータセットに関する大規模な実験は、精度と多様性を高める方法の有効性を実証している。 コードはhttps://github.com/SAI990323/DecodingMattersで入手できる。

関連論文リスト

• $\mathbb{USCD}$: Improving Code Generation of LLMs by Uncertainty-Aware Selective Contrastive Decoding [64.00025564372095]
  大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。 幻覚の影響(例えば出力ノイズ)は、LLMが1パスで高品質なコードを生成するのを難しくする。 単純かつ効果的なtextbfuncertainty-aware textbf select textbfcontrastive textbfdecodingを提案する。
  論文  参考訳（メタデータ） (2024-09-09T02:07:41Z)
• SED: Self-Evaluation Decoding Enhances Large Language Models for Better Generation [35.10931307279044]
  本稿では,モデル生成の高速化を目的とした自己評価復号法であるSEDを提案する。 推測と評価のステップをデコードプロセスに統合し、LCMがより慎重に決定できるようにします。
  論文  参考訳（メタデータ） (2024-05-26T12:43:18Z)
• Learnable Item Tokenization for Generative Recommendation [78.30417863309061]
  LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。 LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
  論文  参考訳（メタデータ） (2024-05-12T15:49:38Z)
• Contrastive Decoding Improves Reasoning in Large Language Models [55.16503283583076]
  コントラストデコーディングは,様々な推論タスクにおいて,グリージーデコーディングよりもアウト・オブ・ボックスの大幅な改善を実現することを示す。 本稿では,LLaMA-65BがHellaSwag Commonsense reasoning benchmark上でLLaMA 2, GPT-3.5, PaLM 2-Lより優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-17T00:29:32Z)
• Hot or Cold? Adaptive Temperature Sampling for Code Generation with Large Language Models [54.72004797421481]
  コード生成に特化したデコード戦略を検討するために、最初の体系的な研究を行う。 以上の知見に触発されて,適応温度(AdapT)サンプリング法を提案する。 その結果,AdapTサンプリングは最先端の復号化戦略を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-09-06T06:27:33Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Contrastive Decoding: Open-ended Text Generation as Optimization [153.35961722855686]
  信頼性の高い復号法であるコントラスト復号法(CD)を提案する。 これは、より大きなLMの故障がより小さなLMでさらに多いという事実に着想を得たものである。 CDは追加のトレーニングを一切必要とせず、より大きなLMからの復号化よりも高品質なテキストを生成する。
  論文  参考訳（メタデータ） (2022-10-27T00:58:21Z)
• Sparse Coding with Multi-Layer Decoders using Variance Regularization [19.8572592390623]
  本稿では,デコーダの正規化を必要とせずに,符号の崩壊を防止する新しいスパース符号化プロトコルを提案する。 本手法は,各潜時符号成分が一定の閾値を超える分散を有するように,直接正規化する。 分散正規化法を用いて訓練した多層デコーダを用いたスパースオートエンコーダは、スペーサー表現を用いた高品質な再構成を実現する。
  論文  参考訳（メタデータ） (2021-12-16T21:46:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。