論文の概要: Position Bias Correction is Insufficient for One-Pass Attention Sorting

• arxiv url: http://arxiv.org/abs/2606.27793v1
• Date: Fri, 26 Jun 2026 07:26:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.407218
• Title: Position Bias Correction is Insufficient for One-Pass Attention Sorting
• Title（参考訳）: 位置バイアス補正はワンパスアテンションソーティングに不十分である
• Abstract要約: 長文言語モデルは位置バイアスに悩まされ、中間位置の情報はあまり利用されない。 Attention Sortingは、注意パターンに基づいて文書を反復的に並べ替えることによって、この問題に対処するが、その複数のソート・アンド・ジェネレーション・サイクルは、デプロイメントコストを増大させる。 文書の低アテンション多数から,プロンプト当たりの位置バイアス曲線を推定するデバイアスド・ワンパス・アテンション・ソーティングを提案する。
• 参考スコア（独自算出の注目度）: 19.413175066072302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context language models suffer from position bias, where information in middle positions is underutilized. Attention Sorting addresses this by iteratively reordering documents based on attention patterns, but its multiple sort-and-generate cycles increase deployment cost. We hypothesize that position bias is the primary bottleneck and propose Debiased One-Pass Attention Sorting, which estimates a per-prompt position-bias curve from the low-attention majority of documents and uses it to correct raw attention scores (via subtraction or division) to enable single-pass sorting. Our experiments on two models refute this hypothesis in the tested setting: on LLaMA-2-7B-32K-Instruct, debiasing produces identical results to uncalibrated single-pass sorting (94.83\% containment accuracy), while on YaRN-Llama-2-7b-64k, debiasing improves accuracy by 8.67 percentage points but remains 14.84pp behind iterative sorting, closing only 37\% of the gap. These results suggest that position-bias correction is insufficient to match iterative sorting, and that repeated reordering provides additional benefits beyond bias correction.
• Abstract（参考訳）: 長文言語モデルは位置バイアスに悩まされ、中間位置の情報はあまり利用されない。 Attention Sortingは、注意パターンに基づいて文書を反復的に並べ替えることによって、この問題に対処するが、その複数のソート・アンド・ジェネレーション・サイクルは、デプロイメントコストを増大させる。 我々は、位置バイアスが主要なボトルネックであると仮定し、文書の低アテンション多数からプロンプト当たりの位置バイアス曲線を推定するDebiased One-Pass Attention Sortingを提案し、それを用いて(減算や分割による)生の注意スコアを補正し、シングルパスソートを可能にする。 LLaMA-2-7B-32K-Instructでは、脱バイアスは未校正シングルパスソートと同じ結果(94.83\%の包含精度)を生じるが、YaRN-Llama-2-7b-64kでは、脱バイアスは精度を8.67ポイント改善するが、反復ソートでは14.84ppの差が残っており、ギャップの37.3%しか閉じていない。 これらの結果は, 位置バイアス補正が反復的ソートに適合するには不十分であり, 繰り返し再順序付けは, バイアス補正以上の利点をもたらすことを示唆している。

関連論文リスト

• How Does Alignment Tuning Shape Representations of Sycophancy and Related Cue-Induced Biases in LLMs? [53.58941416780391]
  本研究は, この感受性, 潜伏性および関連キュー誘発バイアスがモデル内に存在するかを研究する。 我々は、隠れた状態からバイアスごとの方向を抽出し、探索、1つのデータセットの移動、因果的介入の3つの手段によってそれを三角測量する。
  論文  参考訳（メタデータ） (2026-07-20T16:10:06Z)
• LLM-based Listwise Reranking under the Effect of Positional Bias [69.07550988151473]
  LLMをベースとしたリストワイドパスの再ランク付けは、候補パスのランク付けに有効であるとして注目されている。 これらのモデルは位置バイアスに悩まされ、入力の終端の位置にある通路はランクの上位位置に移動する可能性が低い。 DebiasFirstは、微調整中に位置校正と位置認識データ拡張を統合する手法である。
  論文  参考訳（メタデータ） (2026-04-04T08:40:57Z)
• Correcting for Position Bias in Learning to Rank: A Control Function Approach [9.986244291715762]
  本稿では,2段階プロセスにおける位置バイアスを考慮した制御関数に基づく新しい手法を提案する。 従来の位置偏差補正法とは異なり、この手法はクリックや確率モデルに関する知識を必要としない。 提案手法は位置バイアスの補正における最先端手法よりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2025-06-08T04:10:14Z)
• Repeat-bias-aware Optimization of Beyond-accuracy Metrics for Next Basket Recommendation [54.5376993040561]
  次のバスケットレコメンデーション(NBR)では、過去のバスケットシーケンスに基づいて、一連のアイテムをユーザに推奨する。 最先端のNBR手法のいくつかは、有効性を最大化するために繰り返し項目を推奨するために非常に偏りがある。 我々は、繰り返しバイアスを考慮せずに、多様性やアイテムフェアネスを最適化するだけで、NBRアルゴリズムがより多くの反復アイテムを推奨する可能性があることを発見した。
  論文  参考訳（メタデータ） (2025-01-10T21:58:34Z)
• Reducing Biases in Record Matching Through Scores Calibration [1.5530839016602822]
  スコアバイアスの測定と低減のためのしきい値に依存しないフレームワークを提案する。 基準しきい値に基づく基準値の下では公平に見えても,いくつかの最先端マッチング手法がかなりのスコアバイアスを示すことを示す。 本稿では,2つのポストプロセッシングスコアキャリブレーションアルゴリズムを導入する。第1のキャリブは,ワッサーシュタイン・バリセンタを用いてグループワイズスコアの分布を調整し,人口統計学的パーティを目標とする。 第2のカラリブは、ラベルに依存したバイアス、例えば平等な機会を減らそうと予測されたラベルの条件である。
  論文  参考訳（メタデータ） (2024-11-03T21:01:40Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Position bias in features [0.0]
  文書固有の履歴クリックスルーレートは、動的ランキングシステムにおいて重要な特徴である。 本稿では, それらの特徴について述べるとともに, 制御実験で検証する。
  論文  参考訳（メタデータ） (2024-02-04T22:15:30Z)
• Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models [63.714662435555674]
  大規模言語モデル(LLM)は、文脈の使い方に位置バイアスを示す。 我々は,ブラックボックスLLMのランキングリスト出力に対して,自己整合性(permutation self-consistency)を提案する。 LLaMA v2 (70B) では GPT-3.5 では 7-18% , LLaMA v2 (70B) では 8-16% である。
  論文  参考訳（メタデータ） (2023-10-11T17:59:02Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Unbiased Pairwise Learning to Rank in Recommender Systems [4.058828240864671]
  アルゴリズムをランク付けする偏見のない学習は、候補をアピールし、既に単一の分類ラベルを持つ多くのアプリケーションに適用されている。 本稿では,この課題に対処するための新しい非バイアス付きLTRアルゴリズムを提案する。 パブリックベンチマークデータセットと内部ライブトラフィックを用いた実験結果から,分類ラベルと連続ラベルのいずれにおいても提案手法の優れた結果が得られた。
  論文  参考訳（メタデータ） (2021-11-25T06:04:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。