論文の概要: Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs

• arxiv url: http://arxiv.org/abs/2404.01430v1
• Date: Mon, 1 Apr 2024 19:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 20:47:06.165605
• Title: Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
• Title（参考訳）: LLMにおける位置認識パラメータによる位置バイアス低減手法
• Authors: Zheng Zhang, Fan Yang, Ziyan Jiang, Zheng Chen, Zhengyang Zhao, Chengyuan Ma, Liang Zhao, Yang Liu,
• Abstract要約: 大規模言語モデル(LLM)の最近の進歩は、長い入力コンテキストを処理する能力を高めている。 近年の研究では、LCMの位置バイアスが示されており、有用な情報の位置に応じて様々な性能を示す。 本研究では,データ拡張手法と効率的なパラメータアダプタを組み合わせた位置認識型PAPEFTアプローチを提案する。
• 参考スコア（独自算出の注目度）: 18.832135309689736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) have enhanced their ability to process long input contexts. This development is particularly crucial for tasks that involve retrieving knowledge from an external datastore, which can result in long inputs. However, recent studies show a positional bias in LLMs, demonstrating varying performance depending on the location of useful information within the input sequence. In this study, we conduct extensive experiments to investigate the root causes of positional bias. Our findings indicate that the primary contributor to LLM positional bias stems from the inherent positional preferences of different models. We demonstrate that merely employing prompt-based solutions is inadequate for overcoming the positional preferences. To address this positional bias issue of a pre-trained LLM, we developed a Position-Aware Parameter Efficient Fine-Tuning (PAPEFT) approach which is composed of a data augmentation technique and a parameter efficient adapter, enhancing a uniform attention distribution across the input context. Our experiments demonstrate that the proposed approach effectively reduces positional bias, improving LLMs' effectiveness in handling long context sequences for various tasks that require externally retrieved knowledge.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、長い入力コンテキストを処理する能力を高めている。 この開発は、外部データストアから知識を取得することを含むタスクにおいて特に重要であり、長い入力をもたらす可能性がある。 しかし、近年の研究ではLSMの位置バイアスが示されており、入力シーケンス内の有用な情報の位置に応じて異なる性能を示す。 本研究では,位置バイアスの根本原因を明らかにするための広範囲な実験を行った。 以上の結果から,LLMの位置偏差の主な要因は,異なるモデルにおける位置嗜好に起因していることが示唆された。 位置的嗜好を克服するには,単にプロンプトベースのソリューションを採用するだけでは不十分であることを示す。 事前学習したLLMのこの位置バイアス問題に対処するため,データ拡張技術とパラメータ効率のよいアダプタからなる位置認識パラメータ効率向上(PAPEFT)アプローチを開発した。 実験により,提案手法は位置バイアスを効果的に低減し,外部から抽出した知識を必要とする様々なタスクに対する長いコンテキストシーケンス処理におけるLLMの有効性を向上することを示した。

関連論文リスト

• Dynamic Uncertainty Ranking: Enhancing In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Distance between Relevant Information Pieces Causes Bias in Long-Context LLMs [50.40165119718928]
  LongPiBenchは、複数の関連する情報を含む位置バイアスを評価するために設計されたベンチマークである。 これらの実験によると、現在のほとんどのモデルは「中間の失われた」問題に対して堅牢であるが、関連する情報片の間隔に関する重大なバイアスが存在する。
  論文  参考訳（メタデータ） (2024-10-18T17:41:19Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• A Deep Dive into the Trade-Offs of Parameter-Efficient Preference Alignment Techniques [63.10251271444959]
  大規模言語モデルは最初、数兆のトークンで事前訓練され、その後、特定の好みに合わせて命令調整または調整される。 我々は,3つの重要な軸に対する人気選択の影響を詳細に調査する。 300以上の実験にまたがるセットアップでは、一貫した傾向と予期せぬ結果が明らかになる。
  論文  参考訳（メタデータ） (2024-06-07T12:25:51Z)
• UniBias: Unveiling and Mitigating LLM Bias through Internal Attention and FFN Manipulation [12.04811490937078]
  フィードフォワードニューラルネットワーク(FFN)とアテンションヘッドが大規模言語モデル(LLM)のバイアスをもたらすかを検討する。 これらのバイアスを軽減するために,推定のみの手法であるUniBiasを導入し,バイアス付きFFNベクトルとアテンションヘッドを効果的に識別・除去する。
  論文  参考訳（メタデータ） (2024-05-31T03:59:15Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Self-Supervised Position Debiasing for Large Language Models [39.261233221850155]
  大規模言語モデル(LLM)における位置バイアスを軽減するための自己教師型位置偏差検出(SOD)フレームワークを提案する。 8つのデータセットと5つのタスクの実験により、SODは3つのタイプの位置バイアスを緩和する既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T14:12:41Z)
• Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
  本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。 Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。 DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。