論文の概要: Position Bias Mitigates Position Bias:Mitigate Position Bias Through Inter-Position Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2508.15709v1
• Date: Thu, 21 Aug 2025 16:54:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.409994
• Title: Position Bias Mitigates Position Bias:Mitigate Position Bias Through Inter-Position Knowledge Distillation
• Title（参考訳）: 位置バイアスを緩和する位置バイアス:機能間知識蒸留による位置バイアスを緩和する
• Authors: Yifei Wang, Feng Xiong, Yong Wang, Linjing Li, Xiangxiang Chu, Daniel Dajun Zeng,
• Abstract要約: 位置バイアス(PB)は、長文理解と処理能力を損なう。 textbfPos2Distillは、知識蒸留の枠組みを位置決めする位置にある。 Pos2Distillは、有利な位置からあまり好ましくない位置へ優れた機能を転送することで、大きなパフォーマンスギャップを減らします。
• 参考スコア（独自算出の注目度）: 24.11351098604948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Positional bias (PB), manifesting as non-uniform sensitivity across different contextual locations, significantly impairs long-context comprehension and processing capabilities. While prior work seeks to mitigate PB through modifying the architectures causing its emergence, significant PB still persists. To address PB effectively, we introduce \textbf{Pos2Distill}, a position to position knowledge distillation framework. Pos2Distill transfers the superior capabilities from advantageous positions to less favorable ones, thereby reducing the huge performance gaps. The conceptual principle is to leverage the inherent, position-induced disparity to counteract the PB itself. We identify distinct manifestations of PB under \textbf{\textsc{r}}etrieval and \textbf{\textsc{r}}easoning paradigms, thereby designing two specialized instantiations: \emph{Pos2Distill-R\textsuperscript{1}} and \emph{Pos2Distill-R\textsuperscript{2}} respectively, both grounded in this core principle. By employing the Pos2Distill approach, we achieve enhanced uniformity and significant performance gains across all contextual positions in long-context retrieval and reasoning tasks. Crucially, both specialized systems exhibit strong cross-task generalization mutually, while achieving superior performance on their respective tasks.
• Abstract（参考訳）: 位置バイアス(PB)は、異なる文脈において一様でない感度を示すが、長文理解と処理能力を著しく損なう。 以前の研究では、PBが出現する原因となるアーキテクチャを変更することでPBを緩和しようとしたが、大きなPBは依然として維持されている。 PB を効果的に扱うために,知識蒸留の枠組みを位置づける場所である textbf{Pos2Distill} を導入する。 Pos2Distillは、有利な位置からあまり好ましくない位置へ優れた機能を転送することで、大きなパフォーマンスギャップを減らします。 概念原理は、PB自体に対抗するために、固有の位置誘起の格差を活用することである。 PB の異なる表現を \textbf{\textsc{r}}etrieval と \textbf{\textsc{r}}easoning パラダイムで識別し,2つの特殊インスタンス化: \emph{Pos2Distill-R\textsuperscript{1}} と \emph{Pos2Distill-R\textsuperscript{2}} をそれぞれ設計する。 Pos2Distillの手法を用いることで、長文検索や推論タスクにおける文脈的位置の統一性と大幅な性能向上を実現する。 重要な点として、両方の特殊系は相互に強いクロスタスクの一般化を示し、それぞれのタスクにおいて優れた性能を達成している。

関連論文リスト

• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• Positional Attention: Expressivity and Learnability of Algorithmic Computation [6.181408276896225]
  この研究は、アルゴリズム実行におけるトランスフォーマーにおける注意の役割をよりよく理解することを目的としている。 位置対応変換器(位置対応変換器)は並列計算モデルと同じ表現性を持つことを示す。 パラメータノルムにより良い理論的依存を示す一方で、特定のタスクはより多くの層を必要とする可能性がある。
  論文  参考訳（メタデータ） (2024-10-02T15:55:08Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• SHAPE: Shifted Absolute Position Embedding for Transformers [59.03597635990196]
  既存の位置表現は、目に見えない長さや計算コストの高いデータをテストする一般化の欠如に悩まされる。 両問題に対処するため,シフト絶対位置埋め込み(SHAPE)について検討した。
  論文  参考訳（メタデータ） (2021-09-13T00:10:02Z)
• CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings [33.87449556591022]
  絶対位置埋め込みのための拡張型アプローチ(CAPE)を提案する。 CAPEは絶対(単純さと速度)と相対的な位置埋め込み(一般化)の両方の利点を保っている。
  論文  参考訳（メタデータ） (2021-06-06T14:54:55Z)
• Improve Transformer Models with Better Relative Position Embeddings [18.59434691153783]
  トランスフォーマーアーキテクチャは、単語順序の概念を維持するために明示的な位置符号化に依存している。 既存の作業は位置情報を十分に活用していないと我々は主張する。 本稿では,クエリ,キー,相対的な位置埋め込みの相互作用を促進する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T22:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。