論文の概要: Eliminating Position Bias of Language Models: A Mechanistic Approach

• arxiv url: http://arxiv.org/abs/2407.01100v2
• Date: Wed, 02 Oct 2024 17:09:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:18:11.035355
• Title: Eliminating Position Bias of Language Models: A Mechanistic Approach
• Title（参考訳）: 言語モデルの位置バイアスの除去:機械的アプローチ
• Authors: Ziqi Wang, Hanlin Zhang, Xiner Li, Kuan-Hao Huang, Chi Han, Shuiwang Ji, Sham M. Kakade, Hao Peng, Heng Ji,
• Abstract要約: 位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
• 参考スコア（独自算出の注目度）: 119.34143323054143
• License:
• Abstract: Position bias has proven to be a prevalent issue of modern language models (LMs), where the models prioritize content based on its position within the given context. This bias often leads to unexpected model failures and hurts performance, robustness, and reliability across various applications. Our mechanistic analysis attributes the position bias to two components employed in nearly all state-of-the-art LMs: causal attention and relative positional encodings. Based on the analyses, we propose to eliminate position bias (e.g., different retrieved documents' orders in QA affect performance) with a training-free zero-shot approach. Our method changes the causal attention to bidirectional attention between documents and utilizes model attention values to decide the relative orders of documents instead of using the order provided in input prompts, therefore enabling Position-INvariant inferencE (PINE) at the document level. By eliminating position bias, models achieve better performance and reliability in downstream tasks, including LM-as-a-judge, retrieval-augmented QA, molecule generation, and math reasoning. Notably, PINE is especially useful when adapting LMs for evaluating reasoning pairs: it consistently provides 8 to 10 percentage points performance gains, making Llama-3-70B-Instruct perform even better than GPT-4-0125-preview and GPT-4o-2024-08-06 on the RewardBench reasoning set.
• Abstract（参考訳）: 位置バイアスは現代の言語モデル(LM)において一般的な問題であることが証明されており、そこではモデルが与えられた文脈内での位置に基づいてコンテンツを優先順位付けする。 このバイアスは、しばしば予期せぬモデル障害を引き起こし、様々なアプリケーションのパフォーマンス、堅牢性、信頼性を損なう。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 そこで本研究では,学習不要なゼロショットアプローチを用いて,位置バイアス(QAにおける異なる文書の順序が性能に影響を及ぼす)を除去することを提案する。 提案手法では,文書間の双方向の注意に因果的注意を変換し,入力プロンプトで提供される順序ではなく,モデル注意値を用いて文書の相対順序を決定する。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論などの下流タスクのパフォーマンスと信頼性が向上する。 Llama-3-70B-Instructは、RewardBench推論セットのGPT-4-0125-previewとGPT-4o-2024-08-06よりもさらに優れたパフォーマンスを提供する。

関連論文リスト

• Mitigate Position Bias in Large Language Models via Scaling a Single Dimension [47.792435921037274]
  本稿ではまず,位置バイアスのマイクロレベル表現について考察し,注目重みが位置バイアスのマイクロレベル表現であることを示す。 さらに、位置埋め込みに加えて、因果注意マスクは位置特異的な隠れ状態を作成することによって位置バイアスに寄与する。 これらの知見に基づいて,この位置隠れ状態のスケーリングにより位置バイアスを軽減する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T17:55:38Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs [18.832135309689736]
  大規模言語モデル(LLM)の最近の進歩は、長い入力コンテキストを処理する能力を高めている。 近年の研究では、LCMの位置バイアスが示されており、有用な情報の位置に応じて様々な性能を示す。 本研究では,データ拡張手法と効率的なパラメータアダプタを組み合わせた位置認識型PAPEFTアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-01T19:04:17Z)
• Technical Report: Impact of Position Bias on Language Models in Token Classification [0.6372911857214884]
  Named Entity Recognition (NER) やPart-of-Speech (POS) タグ付けといった下流タスクは、データ不均衡の問題に悩まされていることが知られている。 本稿では,エンコーダモデルの問題点,特にトークン分類タスクにおける正の例の位置バイアスについて考察する。 LMは,3%から9%の低下率で,このバイアスに悩まされる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-26T13:57:25Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Look to the Right: Mitigating Relative Position Bias in Extractive Question Answering [38.36299280464046]
  抽出的質問応答(QA)モデルは、素早い相関を利用して予測する傾向がある。 回答の相対的な位置は、予測を行うための表面的手がかりとしてQAモデルによって利用することができる。 本研究では,相対位置の分布に関する事前知識を必要としないアンサンブルに基づくデバイアス法を提案する。
  論文  参考訳（メタデータ） (2022-10-26T08:01:38Z)
• The Curious Case of Absolute Position Embeddings [65.13827063579728]
  トランスフォーマー言語モデルは、位置情報を用いた単語順序の概念を符号化する。 自然言語では、絶対的な位置ではなく相対的な位置であり、APEがこのような情報を捉えることができる範囲は研究されていない。 我々は, APE を用いて訓練されたモデルが, 位置情報をシフトした文を入力した時点で, 位置情報に基づいて過度に訓練されていることを観察した。
  論文  参考訳（メタデータ） (2022-10-23T00:00:04Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• The Case for Translation-Invariant Self-Attention in Transformer-Based Language Models [11.148662334602639]
  既存の言語モデルの位置埋め込みを分析し、翻訳不変性の強い証拠を見出す。 本稿では,トークン間の相対的な位置を解釈可能な方法で記述する翻訳不変自己アテンション(TISA)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T15:56:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。