論文の概要: Statistical Detection of Positional Bias in LLM-Based Recommender Systems: Methodologies and Empirical Evidence
- arxiv url: http://arxiv.org/abs/2610.37962v1
- Date: Tue, 27 Oct 2026 20:48:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:09.915673
- Title: Statistical Detection of Positional Bias in LLM-Based Recommender Systems: Methodologies and Empirical Evidence
- Title（参考訳）: LLMリコメンダシステムにおける位置バイアスの統計的検出:方法と実証的証拠
- Abstract要約: 大規模言語モデル(LLM)は、会話レコメンデーションシステムにおけるレコメンデーションジェネレータとして、ますます使われている。
本稿では,トップ-1 とシングルターン LLM ベースの RS における位置バイアスについて検討する。
この効果を定量化するために、置換感度、位置バイアス、強い位置バイアスという3つの相補的な指標を導入します。
- 参考スコア（独自算出の注目度）: 3.483960518158563
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) are increasingly used as recommendation generators in conversational recommender systems (RS) via retrieval-augmented generation (RAG). This flexible design introduces new sources of structural bias. This paper studies positional bias in top-1 and single-turn LLM-based RS: systematic dependence of the recommended item on the order in which candidates are presented in the prompt. We propose two complementary detection methodologies: (i) POB-ICM, based on contingency matrix analysis and Chi-square independence testing, and (ii) POB-UNBP, a sample-efficient approach derived from a uniformity null model under permutation-based evaluation, enabling stochastic decoding with formal statistical guarantees. Using a controlled RAG testbed for product recommendation, built on a real product catalog, a fixed prompt template and 2000 template-generated user queries with 20 permutations each (40,000 instances), both methodologies reject the null hypothesis of positional independence and uniformity in all evaluated state-of-the-art models. We introduce three complementary metrics -- permutation sensitivity, positional bias, and strong positional bias -- to quantify this effect, the latter targeting cases where the position displaces the recommendation towards clearly less relevant items rather than only choosing among comparably relevant ones. A robustness analysis across candidate-set size and decoding temperature shows that the bias is structural and model-dependent, not an artifact of deterministic decoding or candidate-set size. These results establish positional bias as a measurable, reproducible property of prompt-mediated recommendation pipelines in the evaluated setting and motivate routine auditing and governance controls (e.g., order randomization, standardized prompting) for deployed LLM-based RS. Source code is publicly released.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、検索拡張生成(RAG)を介して会話レコメンデータシステム(RS)のレコメンデーションジェネレータとして使われることが多い。
この柔軟な設計は、新しい構造バイアスの源を導入する。
本稿では,トップ-1 とシングルターン LLM ベースの RS における位置バイアスについて検討する。
本稿では,2つの相補的検出手法を提案する。
1POB-ICMは、共分散行列分析及びチ二乗独立試験に基づくものである。
(II)POB-UNBPは、置換に基づく評価の下で、一様性ヌルモデルから導出されるサンプル効率の高いアプローチであり、形式的な統計的保証付き確率的復号を可能にする。
製品レコメンデーションのための制御されたRAGテストベッドを使用して、実際の製品カタログ上に構築され、固定プロンプトテンプレートと2000のテンプレート生成されたユーザクエリをそれぞれ20の置換(40,000インスタンス)し、どちらの方法論も、すべての評価された最先端モデルにおいて、位置独立性と統一性のヌル仮説を拒絶する。
我々は、この効果を定量化するために、置換感度、位置バイアス、強い位置バイアスの3つの相補的指標を導入する。
候補セットサイズと復号化温度のロバストネス解析は、バイアスが構造的かつモデル依存であり、決定論的復号化や候補セットサイズではないことを示している。
これらの結果から,LSMをベースとしたRSの定期監査・ガバナンス制御(注文ランダム化,標準化プロンプト化など)の評価において,プロンプトを介するレコメンデーションパイプラインの計測可能かつ再現可能な特性として位置バイアスを確立した。
ソースコードは公開されている。
関連論文リスト
- Candidate-Constrained Retrieval-Augmented Generation for LongEval-RAG: System Design and Empirical Analysis [1.0312968200748118]
本稿では,LongEval-RAGのための候補制約付き検索拡張生成システムを提案する。
プライマリ・オーガナイザ・アセスメントと補足的自己生成診断プロトコルを用いて,10種類のパイプライン変異を評価した。
論文 参考訳（メタデータ） (2026-07-04T20:07:57Z) - DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。
我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
論文 参考訳（メタデータ） (2026-06-24T22:40:46Z) - Post-Selection Distributional Model Evaluation [31.006941545235396]
選択後分布モデル評価(PS-DME)
PS-DMEは任意のデータ依存モデル選択後に統計的に有効な分布モデル評価のためのフレームワークである。
結果:PS-DMEは,様々な信頼性レベルの候補構成の信頼性比較を可能にする。
論文 参考訳（メタデータ） (2026-03-24T10:51:30Z) - How Sampling Shapes LLM Alignment: From One-Shot Optima to Iterative Dynamics [65.67654005892469]
適切なインスタンス依存サンプリングは、より強力なランキング保証を得られる一方で、スキュードオン政治サンプリングは、構造化された嗜好の下で過剰な濃度を誘導できることを示す。
次に、学習したポリシーが将来のサンプリングおよび参照ポリシーにフィードバックする反復的なアライメントダイナミクスを分析する。
我々の理論的な洞察は直接選好最適化にまで拡張され、我々が捉えた現象はより広範な選好アライメント手法に共通していることを示している。
論文 参考訳（メタデータ） (2026-02-12T17:11:08Z) - SimGR: Escaping the Pitfalls of Generative Decoding in LLM-based Recommendation [68.00727783181289]
推薦システムの中核的な目的は、パーソナライズされたレコメンデーションを可能にするために、アイテムよりもユーザの好みの分布を正確にモデル化することである。
アイテムレベルの嗜好分布を推定する際に,既存の手法が必然的に系統的バイアスを生じさせることを観察する。
textbfSimply textbfGenerative textbfRecommendation (textbfSimGR)を提案する。
論文 参考訳（メタデータ） (2026-02-08T07:26:52Z) - Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。
5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
論文 参考訳（メタデータ） (2026-01-31T13:11:39Z) - BiasLab: A Multilingual, Dual-Framing Framework for Robust Measurement of Output-Level Bias in Large Language Models [3.643198597030366]
本稿では,出力レベル(外部)バイアスの定量化を目的とした,オープンソースのモデルに依存しない評価フレームワークであるBiasLabを紹介する。
この枠組みは、人口統計学、文化学、政治学、地政学などの様々なバイアス軸の評価をサポートする。
論文 参考訳（メタデータ） (2026-01-11T11:07:46Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - Model Correlation Detection via Random Selection Probing [62.093777777813756]
既存の類似性に基づく手法では、モデルパラメータにアクセスしたり、しきい値なしでスコアを生成する必要がある。
本稿では,モデル相関検出を統計的テストとして定式化する仮説テストフレームワークであるランダム選択探索(RSP)を紹介する。
RSPは相関の証拠を定量化する厳密なp-値を生成する。
論文 参考訳（メタデータ） (2025-09-29T01:40:26Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。