論文の概要: Adaptive Repetition for Mitigating Position Bias in LLM-Based Ranking
- arxiv url: http://arxiv.org/abs/2507.17788v1
- Date: Wed, 23 Jul 2025 09:54:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-25 15:10:42.23436
- Title: Adaptive Repetition for Mitigating Position Bias in LLM-Based Ranking
- Title（参考訳）: LLMランキングにおける位置バイアスの緩和のための適応的繰り返し
- Authors: Ali Vardasbi, Gustavo Penha, Claudia Hauff, Hugues Bouchard,
- Abstract要約: 候補項目の順序は、モデルの最終的な決定に影響を与える可能性がある。
LLMのプロンプトにおけるアイテム位置に対するこの感度は、位置バイアスとして知られている。
本稿では,各インスタンスに必要な反復回数を適応的に決定する動的早期ストッピング手法を提案する。
- 参考スコア（独自算出の注目度）: 12.134014941104613
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: When using LLMs to rank items based on given criteria, or evaluate answers, the order of candidate items can influence the model's final decision. This sensitivity to item positioning in a LLM's prompt is known as position bias. Prior research shows that this bias exists even in large models, though its severity varies across models and tasks. In addition to position bias, LLMs also exhibit varying degrees of low repetition consistency, where repeating the LLM call with the same candidate ordering can lead to different rankings. To address both inconsistencies, a common approach is to prompt the model multiple times with different candidate orderings and aggregate the results via majority voting. However, this repetition strategy, significantly increases computational costs. Extending prior findings, we observe that both the direction -- favoring either the earlier or later candidate in the prompt -- and magnitude of position bias across instances vary substantially, even within a single dataset. This observation highlights the need for a per-instance mitigation strategy. To this end, we introduce a dynamic early-stopping method that adaptively determines the number of repetitions required for each instance. Evaluating our approach across three LLMs of varying sizes and on two tasks, namely re-ranking and alignment, we demonstrate that transitioning to a dynamic repetition strategy reduces the number of LLM calls by an average of 81%, while preserving the accuracy. Furthermore, we propose a confidence-based adaptation to our early-stopping method, reducing LLM calls by an average of 87% compared to static repetition, with only a slight accuracy trade-off relative to our original early-stopping method.
- Abstract（参考訳）: LLMを使用して、与えられた基準に基づいて項目をランク付けしたり、回答を評価したりする場合、候補項目の順序はモデルの最終的な決定に影響を与える可能性がある。
LLMのプロンプトにおけるアイテム位置に対するこの感度は、位置バイアスとして知られている。
以前の研究では、このバイアスは大きなモデルでも存在していることが示されていたが、その重大さはモデルやタスクによって異なる。
位置バイアスに加えて、LLMは低い繰り返し一貫性の度合いも示しており、LLM呼び出しを同じ候補順序で繰り返すことは、異なるランク付けにつながる可能性がある。
両者の矛盾に対処するため、一般的なアプローチは、異なる候補の順序でモデルを複数回促し、多数決によって結果を集計することである。
しかし、この反復戦略は計算コストを大幅に増加させる。
以前の結果を拡張して、インプロンプトの早期あるいは後期の候補を優先する方向と、インスタンス間の位置バイアスの大きさが、単一のデータセット内でも大きく異なることを観察する。
この観察は、インスタンスごとの緩和戦略の必要性を強調している。
そこで本研究では,各インスタンスに必要な反復回数を適応的に決定する動的早期停止手法を提案する。
異なる大きさの3つのLLMおよび2つのタスク、すなわち再ランク付けとアライメントに対するアプローチを評価することで、動的繰り返し戦略への移行により、平均81%のLCM呼び出しを削減し、精度を保ちながら、LLM呼び出し数を減少させることを示した。
さらに,本手法に対する信頼度に基づく適応を提案し,LLM呼び出しを静的繰り返しと比較して平均87%削減する。
関連論文リスト
- Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。
この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。
そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
論文 参考訳（メタデータ） (2024-11-07T10:31:31Z) - Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。
専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。
ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
論文 参考訳（メタデータ） (2024-10-31T03:42:17Z) - SkillAggregation: Reference-free LLM-Dependent Aggregation [14.46141987797362]
大規模言語モデル(LLM)は、NLPタスクの評価にますます使用される。
最近の研究は、審査員が性能を向上させるために複数のLLMを使うことを示唆している。
この研究は、参照ラベルが使用できない複数のシステムからの予測を集約することに焦点を当てている。
論文 参考訳（メタデータ） (2024-10-14T07:13:47Z) - Post-hoc Reward Calibration: A Case Study on Length Bias [28.266675778940133]
リワードモデル(RM)は、トレーニングデータに突発的な相関を利用してバイアスを発生させることができる。
これらのバイアスは、誤った出力ランキング、準最適モデル評価、望ましくない振る舞いの増幅につながる可能性がある。
本稿では、追加データやトレーニングを使わずにバイアスを修正するという課題に対処する。
論文 参考訳（メタデータ） (2024-09-25T22:30:42Z) - The Good, The Bad, and The Greedy: Evaluation of LLMs Should Not Ignore Non-Determinism [39.392450788666814]
大規模言語モデル(LLM)の現在の評価は、しばしば非決定論を見落としている。
greedyデコーディングは一般的に、最も評価されたタスクのサンプリング方法よりも優れています。
より小型のLPMはGPT-4-Turboのような大型のモデルと一致するか、超えることができる。
論文 参考訳（メタデータ） (2024-07-15T06:12:17Z) - Regression-aware Inference with LLMs [52.764328080398805]
提案手法は,一般的な回帰と評価指標に準最適であることを示す。
本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
論文 参考訳（メタデータ） (2024-03-07T03:24:34Z) - PiCO: Peer Review in LLMs based on the Consistency Optimization [48.48819141999387]
ピアレビュー機構を用いて,大規模言語モデル(LLM)を自動的に測定する。
制約付き最適化問題として定式化し、各LLMの能力とスコアの一貫性を最大化することを目的としている。
我々はPEN, CIN, LISという3つの指標を提案し, ランク付けのギャップを評価する。
論文 参考訳（メタデータ） (2024-02-02T18:49:26Z) - Self-Supervised Position Debiasing for Large Language Models [39.261233221850155]
大規模言語モデル(LLM)における位置バイアスを軽減するための自己教師型位置偏差検出(SOD)フレームワークを提案する。
8つのデータセットと5つのタスクの実験により、SODは3つのタイプの位置バイアスを緩和する既存の手法より一貫して優れていることが示された。
論文 参考訳（メタデータ） (2024-01-02T14:12:41Z) - Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models [63.714662435555674]
大規模言語モデル(LLM)は、文脈の使い方に位置バイアスを示す。
我々は,ブラックボックスLLMのランキングリスト出力に対して,自己整合性(permutation self-consistency)を提案する。
LLaMA v2 (70B) では GPT-3.5 では 7-18% , LLaMA v2 (70B) では 8-16% である。
論文 参考訳（メタデータ） (2023-10-11T17:59:02Z) - LoRA ensembles for large language model fine-tuning [35.78186948630364]
Low-Rank Adapters (LoRA) はパラメータ効率の良い微調整技術である。
LoRAは非常に少数のパラメータを表しており、基礎となる事前訓練モデルよりも桁違いに少ない。
LoRAアンサンブルは,既存の正則化技術上にのみ適用され,予測精度と不確実性の定量化に一貫した改善をもたらすことが判明した。
論文 参考訳（メタデータ） (2023-09-29T16:38:38Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T17:44:56Z) - Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning
and Coding with LLMs [60.58434523646137]
大規模言語モデル(LLM)からの出力の正確性を改善するための一般的なアプローチは、自己整合性である。
コスト効率のよいモデルに依存しない手法であるAdaptive-Consistencyを導入し,各質問のサンプル数を動的に調整する。
実験の結果,Adaptive-Consistencyはサンプル予算を最大7.9倍に削減し,平均精度は0.1%以下であった。
論文 参考訳（メタデータ） (2023-05-19T17:49:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。