論文の概要: Evaluating Position Bias in Large Language Model Recommendations

• arxiv url: http://arxiv.org/abs/2508.02020v1
• Date: Mon, 04 Aug 2025 03:30:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 13:41:57.911523
• Title: Evaluating Position Bias in Large Language Model Recommendations
• Title（参考訳）: 大規模言語モデル推薦における位置バイアスの評価
• Authors: Ethan Bito, Yongli Ren, Estrid He,
• Abstract要約: 大規模言語モデル(LLM)は、リコメンデーションタスクのための汎用ツールとして、ますます研究されている。 LLMをベースとした推薦モデルは位置バイアスに悩まされ、その場合、プロンプト内の候補項目の順序がLLMの推薦に不均等に影響を及ぼす可能性がある。 本稿では,LLMレコメンデーションモデルにおける位置バイアスを軽減するための新たなプロンプト戦略であるRightingをIterative Selection経由で導入する。
• 参考スコア（独自算出の注目度）: 3.430780143519032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are being increasingly explored as general-purpose tools for recommendation tasks, enabling zero-shot and instruction-following capabilities without the need for task-specific training. While the research community is enthusiastically embracing LLMs, there are important caveats to directly adapting them for recommendation tasks. In this paper, we show that LLM-based recommendation models suffer from position bias, where the order of candidate items in a prompt can disproportionately influence the recommendations produced by LLMs. First, we analyse the position bias of LLM-based recommendations on real-world datasets, where results uncover systemic biases of LLMs with high sensitivity to input orders. Furthermore, we introduce a new prompting strategy to mitigate the position bias of LLM recommendation models called Ranking via Iterative SElection (RISE). We compare our proposed method against various baselines on key benchmark datasets. Experiment results show that our method reduces sensitivity to input ordering and improves stability without requiring model fine-tuning or post-processing.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、タスク固有のトレーニングを必要とせずに、ゼロショットと命令追従機能を可能にする、レコメンデーションタスクのための汎用ツールとして、ますます研究されている。 研究コミュニティはLLMを積極的に受け入れているが、レコメンデーションタスクに直接適応するためには重要な注意が必要である。 本稿では,LSMをベースとした推薦モデルが位置バイアスに悩まされ,プロンプト内の候補項目の順序がLLMの推薦に不均等に影響を及ぼすことを示す。 まず、実世界のデータセットにおけるLLMに基づくレコメンデーションの位置バイアスを分析し、入力順序に対する感度の高いLLMのシステムバイアスを明らかにする。 さらに,LLMレコメンデーションモデル(RISE)の位置バイアスを軽減するために,Iterative Selection (RISE) によるランク付けという新たなプロンプト戦略を導入する。 提案手法を,キーベンチマークデータセットの様々なベースラインと比較する。 実験結果から,本手法は入力順序に対する感度を低減し,モデル微調整や後処理を必要とせずに安定性を向上させることが示された。

関連論文リスト

• DeepRec: Towards a Deep Dive Into the Item Space with Large Language Model Based Recommendation [83.21140655248624]
  大型言語モデル (LLM) はレコメンダシステム (RS) に導入された。 本稿では, LLM と TRM の自律的マルチターンインタラクションを実現する新しい RS である DeepRec を提案する。 公開データセットの実験では、DeepRecは従来のものとLLMベースのベースラインの両方で大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2025-05-22T15:49:38Z)
• Prompt-Based LLMs for Position Bias-Aware Reranking in Personalized Recommendations [0.0]
  大規模言語モデル(LLM)は、プロンプトベースのレコメンデーションに採用されている。 LLMは、限られたコンテキストウィンドウサイズ、非効率なポイントワイドおよびペアワイドプロンプト、リストワイドランキングの扱いの難しさといった制限に直面している。 本稿では,従来のレコメンデーションモデルとLLMを組み合わせたハイブリッドフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-08T05:01:44Z)
• Direct Preference Optimization for LLM-Enhanced Recommendation Systems [33.54698201942643]
  大規模言語モデル(LLM)は、幅広い領域で顕著なパフォーマンスを示している。 我々は,DPOをLLM強化レコメンデーションシステムに統合するフレームワークであるDPO4Recを提案する。 大規模な実験により、DPO4Recは強いベースラインよりも性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-10-08T11:42:37Z)
• On Softmax Direct Preference Optimization for Recommendation [50.896117978746]
  そこで我々は,LMをベースとした推奨項目の識別を支援するために,ランキング情報をLMに挿入するソフトマックスDPO(S-DPO)を提案する。 具体的には、ユーザの嗜好データに複数の負を組み込んで、LMベースのレコメンデータに適したDPO損失の代替版を考案する。
  論文  参考訳（メタデータ） (2024-06-13T15:16:11Z)
• Improve Temporal Awareness of LLMs for Sequential Recommendation [61.723928508200196]
  大規模言語モデル(LLM)は、幅広い汎用タスクを解く際、印象的なゼロショット能力を示した。 LLMは時間的情報の認識と利用に不足しており、シーケンシャルなデータの理解を必要とするタスクではパフォーマンスが悪い。 LLMに基づくシーケンシャルレコメンデーションのために、歴史的相互作用の中で時間情報を利用する3つのプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-05T00:21:26Z)
• Make Large Language Model a Better Ranker [20.532118635672763]
  本稿では,Aligned Listwise Ranking Objectives (ALRO)を用いた大規模言語モデルフレームワークを提案する。 ALROは、LLMの能力とランキングタスクの微妙な要求とのギャップを埋めるように設計されている。 評価研究により,ALROは既存の埋め込み型レコメンデーション法とLLMベースのレコメンデーションベースラインの両方より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-03-28T07:22:16Z)
• Large Language Models are Not Stable Recommender Systems [45.941176155464824]
  大規模言語モデル(LLM)における探索的研究の導入と位置バイアスの一貫したパターンの発見について述べる。 本稿では,2段階パイプラインを含むベイズ確率的フレームワークSTELLA(Stable LLM for Recommendation)を提案する。 我々のフレームワークは、既存のパターン情報を利用してLCMの不安定性を校正し、レコメンデーション性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-12-25T14:54:33Z)
• LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
  推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
  論文  参考訳（メタデータ） (2023-08-23T16:32:54Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。