論文の概要: Gold Panning: Turning Positional Bias into Signal for Multi-Document LLM Reasoning

• arxiv url: http://arxiv.org/abs/2510.09770v1
• Date: Fri, 10 Oct 2025 18:28:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.61588
• Title: Gold Panning: Turning Positional Bias into Signal for Multi-Document LLM Reasoning
• Title（参考訳）: マルチドキュメントLDM推論のための信号に位置バイアスを変換する金板
• Authors: Adam Byerly, Daniel Khashabi,
• Abstract要約: 我々は、位置バイアスを診断信号として活用するフレームワークであるGold Panning Banditsを紹介する。 言語モデルのクエリをランダムな置換ベースラインよりも最大65%少なくする関連文書を同定する。 この研究は、LLMバイアスが、効率的な推論時間最適化のために、負債から資産に変換できることを実証している。
• 参考スコア（独自算出の注目度）: 27.797864796744665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models exhibit a strong position bias in multi-document contexts, systematically prioritizing information based on location rather than relevance. While existing approaches treat this bias as noise to be mitigated, we introduce Gold Panning Bandits, a framework that leverages position bias as a diagnostic signal: by reordering documents and observing shifts in the model's responses, we can efficiently identify the most relevant content. We frame the problem of choosing reorderings as a bipartite matching problem. While an optimal assignment can be computed at each iteration with the Hungarian algorithm in $O(N^3)$ time, we propose a greedy $O(N \log N)$ strategy that achieves comparable performance by prioritizing the placement of the most uncertain documents in the most informative positions. Our approach identifies relevant documents using up to 65\% fewer language model queries than random permutation baselines on knowledge-intensive NLP tasks, substantially reducing computational cost without model retraining. This work demonstrates that inherent LLM biases can be transformed from liabilities into assets for efficient, inference-time optimization.
• Abstract（参考訳）: 大規模言語モデルは多文書の文脈において強い位置バイアスを示し、関連性ではなく位置に基づく情報を体系的に優先順位付けする。 既存の手法では、このバイアスをノイズとして軽減する一方で、位置バイアスを診断信号として活用するフレームワークであるGold Panning Banditsを導入します。 再順序付けを二部間マッチング問題として選択する問題について検討する。 最適な割り当てはハンガリーのアルゴリズムで各イテレーションで$O(N^3)$時間で計算できるが、最も不確実な文書の配置を最も情報性の高い位置に優先順位付けすることで、同等のパフォーマンスを達成するためのgreedy $O(N \log N)$戦略を提案する。 提案手法は,知識集約型NLPタスクのランダムな置換ベースラインよりも,最大65%少ない言語モデルクエリを用いて関連文書を識別し,モデル再学習を伴わない計算コストを大幅に削減する。 この研究は、LLMバイアスが、効率的な推論時間最適化のために、負債から資産に変換できることを実証している。

関連論文リスト

• Less is More: Efficient Black-box Attribution via Minimal Interpretable Subset Selection [52.716143424856185]
  部分モジュラー部分集合選択の最適化問題として重要領域の帰属を再構成するLiMA(Less input is more faithful for Attribution)を提案する。 LiMAは、エラーを最小限に抑える最適な帰属境界を確保しながら、最も重要かつ最も重要でないサンプルを識別する。 また, 帰属効率が1.6倍に向上し, 帰属効率が向上した。
  論文  参考訳（メタデータ） (2025-04-01T06:58:15Z)
• GS-Matching: Reconsidering Feature Matching task in Point Cloud Registration [7.315456136190114]
  本稿では,Gale-ShapleyアルゴリズムにインスパイアされたGSマッチング方式を提案する。 提案手法は, 高い重なり合い条件下で効率よく動作し, より非反復的不整合を求めることができる。
  論文  参考訳（メタデータ） (2024-12-06T08:47:14Z)
• OD-Stega: LLM-Based Near-Imperceptible Steganography via Optimized Distributions [7.611860976107124]
  本研究では,Large Language Modelが算術符号デコーダを駆動してステゴテキストを生成する,隠蔽型ステガノグラフィについて考察する。 効率的な方法は、秘密のメッセージビットをできるだけ少数の言語トークンに埋め込む必要がある。
  論文  参考訳（メタデータ） (2024-10-06T01:30:45Z)
• Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach [17.79010397902909]
  目的タスクに対する言語モデル(LM)の微調整の問題について,$n$補助タスクの情報を用いて最適に検討する。 この問題には、NLPにおけるターゲット命令チューニングや、チェーン・オブ・ファインタニングにおけるデータ選択など、幅広い応用がある。 繰り返しトレーニングを必要とせずにモデル微調整性能を推定する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-28T21:26:50Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  我々はこの空間を探索するために$textitadaptive$アプローチを提案する。 我々は、マルチアームの包帯に頼り、次の(メソッド、バリデーションサンプル)ペアを順次識別して評価する。 典型的資源の5～15%のみを用いて,トップパフォーマンスの手法を同定できることを示す。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。