論文の概要: Mitigate Position Bias in Large Language Models via Scaling a Single Dimension
- arxiv url: http://arxiv.org/abs/2406.02536v2
- Date: Tue, 15 Oct 2024 15:58:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 13:59:28.417330
- Title: Mitigate Position Bias in Large Language Models via Scaling a Single Dimension
- Title(参考訳): 単一次元のスケーリングによる大規模言語モデルの位置バイアス軽減
- Authors: Yijiong Yu, Huiqiang Jiang, Xufang Luo, Qianhui Wu, Chin-Yew Lin, Dongsheng Li, Yuqing Yang, Yongfeng Huang, Lili Qiu,
- Abstract要約: 本稿ではまず,位置バイアスのマイクロレベル表現について考察し,注目重みが位置バイアスのマイクロレベル表現であることを示す。
さらに、位置埋め込みに加えて、因果注意マスクは位置特異的な隠れ状態を作成することによって位置バイアスに寄与する。
これらの知見に基づいて,この位置隠れ状態のスケーリングにより位置バイアスを軽減する手法を提案する。
- 参考スコア(独自算出の注目度): 47.792435921037274
- License:
- Abstract: Large Language Models (LLMs) are increasingly applied in various real-world scenarios due to their excellent generalization capabilities and robust generative abilities. However, they exhibit position bias, also known as "lost in the middle", a phenomenon that is especially pronounced in long-context scenarios, which indicates the placement of the key information in different positions of a prompt can significantly affect accuracy. This paper first explores the micro-level manifestations of position bias, concluding that attention weights are a micro-level expression of position bias. It further identifies that, in addition to position embeddings, causal attention mask also contributes to position bias by creating position-specific hidden states. Based on these insights, we propose a method to mitigate position bias by scaling this positional hidden states. Experiments on the NaturalQuestions Multi-document QA, KV retrieval, LongBench and timeline reorder tasks, using various models including RoPE models, context windowextended models, and Alibi models, demonstrate the effectiveness and generalizability of our approach. Our method can improve performance by up to 15.2% by modifying just one dimension of hidden states. Our code is available at https://aka.ms/PositionalHidden.
- Abstract(参考訳): 大規模言語モデル(LLM)は、優れた一般化能力と堅牢な生成能力のために、様々な現実のシナリオにますます適用されている。
しかし、これは特に長文のシナリオで発音される現象であり、プロンプトの異なる位置におけるキー情報の配置が精度に著しく影響を及ぼす可能性がある。
本稿ではまず,位置バイアスのマイクロレベル表現について考察し,注目重みが位置バイアスのマイクロレベル表現であることを示す。
さらに、位置埋め込みに加えて、因果注意マスクは位置特異的な隠れ状態を作成することによって位置バイアスに寄与する。
これらの知見に基づいて,この位置隠れ状態のスケーリングにより位置バイアスを軽減する手法を提案する。
マルチドキュメントQA,KV検索,LongBenchおよびタイムラインリオーダータスクの実験では,RoPEモデル,コンテキストウィンドウ拡張モデル,Alibiモデルなどのモデルを用いて,我々のアプローチの有効性と一般化性を実証した。
隠れ状態の1次元だけを修正すれば,最大15.2%の性能向上が可能である。
私たちのコードはhttps://aka.ms/PositionalHidden.comで利用可能です。
関連論文リスト
- Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。
因果的注意は一般的に、モデルが遠方のコンテンツを好むのに対して、RoPEのような相対的な位置エンコーディングは近くのものを好む。
本研究では,異なる入力セグメント順序(例えばLM-as-a-judgeのオプション,QAの検索文書)によって生じる位置バイアスを,TRAINING-FREE ZERO-SHOT方式で推定する。
論文 参考訳(メタデータ) (2024-07-01T09:06:57Z) - Discovering Bias in Latent Space: An Unsupervised Debiasing Approach [6.67121343477106]
基礎モデルの質問応答能力は、変化を促すために非常に敏感である。
モデルの内部表現において、このバイアスを直接修正することを提案する。
実験により,SteerFairは命令調整によるモデル性能のバラツキを大幅に低減することを示した。
論文 参考訳(メタデータ) (2024-06-05T21:29:09Z) - Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs [18.832135309689736]
大規模言語モデル(LLM)の最近の進歩は、長い入力コンテキストを処理する能力を高めている。
近年の研究では、LCMの位置バイアスが示されており、有用な情報の位置に応じて様々な性能を示す。
本研究では,データ拡張手法と効率的なパラメータアダプタを組み合わせた位置認識型PAPEFTアプローチを提案する。
論文 参考訳(メタデータ) (2024-04-01T19:04:17Z) - Position bias in features [0.0]
文書固有の履歴クリックスルーレートは、動的ランキングシステムにおいて重要な特徴である。
本稿では, それらの特徴について述べるとともに, 制御実験で検証する。
論文 参考訳(メタデータ) (2024-02-04T22:15:30Z) - A Frustratingly Easy Improvement for Position Embeddings via Random
Padding [68.75670223005716]
本稿では,既存の事前学習型言語モデルを変更することなく,シンプルかつ効果的なランダムパディング手法を提案する。
実験により、ランダムパディングは、応答が後位置にあるインスタンスのモデル性能を著しく改善できることが示された。
論文 参考訳(メタデータ) (2023-05-08T17:08:14Z) - The Curious Case of Absolute Position Embeddings [65.13827063579728]
トランスフォーマー言語モデルは、位置情報を用いた単語順序の概念を符号化する。
自然言語では、絶対的な位置ではなく相対的な位置であり、APEがこのような情報を捉えることができる範囲は研究されていない。
我々は, APE を用いて訓練されたモデルが, 位置情報をシフトした文を入力した時点で, 位置情報に基づいて過度に訓練されていることを観察した。
論文 参考訳(メタデータ) (2022-10-23T00:00:04Z) - Mitigating Representation Bias in Action Recognition: Algorithms and
Benchmarks [76.35271072704384]
ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。
この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。
偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
論文 参考訳(メタデータ) (2022-09-20T00:30:35Z) - Unveiling The Mask of Position-Information Pattern Through the Mist of
Image Features [75.62755703738696]
近年の研究では、畳み込みニューラルネットワークにおけるパディングが絶対位置情報を符号化していることが示されている。
位置情報の強度を定量化する既存の指標は信頼性が低いままである。
符号化された位置情報を計測(および可視化)するための新しい指標を提案する。
論文 参考訳(メタデータ) (2022-06-02T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。