論文の概要: Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
- arxiv url: http://arxiv.org/abs/2404.01430v1
- Date: Mon, 1 Apr 2024 19:04:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 20:47:06.165605
- Title: Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
- Title(参考訳): LLMにおける位置認識パラメータによる位置バイアス低減手法
- Authors: Zheng Zhang, Fan Yang, Ziyan Jiang, Zheng Chen, Zhengyang Zhao, Chengyuan Ma, Liang Zhao, Yang Liu,
- Abstract要約: 大規模言語モデル(LLM)の最近の進歩は、長い入力コンテキストを処理する能力を高めている。
近年の研究では、LCMの位置バイアスが示されており、有用な情報の位置に応じて様々な性能を示す。
本研究では,データ拡張手法と効率的なパラメータアダプタを組み合わせた位置認識型PAPEFTアプローチを提案する。
- 参考スコア(独自算出の注目度): 18.832135309689736
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in large language models (LLMs) have enhanced their ability to process long input contexts. This development is particularly crucial for tasks that involve retrieving knowledge from an external datastore, which can result in long inputs. However, recent studies show a positional bias in LLMs, demonstrating varying performance depending on the location of useful information within the input sequence. In this study, we conduct extensive experiments to investigate the root causes of positional bias. Our findings indicate that the primary contributor to LLM positional bias stems from the inherent positional preferences of different models. We demonstrate that merely employing prompt-based solutions is inadequate for overcoming the positional preferences. To address this positional bias issue of a pre-trained LLM, we developed a Position-Aware Parameter Efficient Fine-Tuning (PAPEFT) approach which is composed of a data augmentation technique and a parameter efficient adapter, enhancing a uniform attention distribution across the input context. Our experiments demonstrate that the proposed approach effectively reduces positional bias, improving LLMs' effectiveness in handling long context sequences for various tasks that require externally retrieved knowledge.
- Abstract(参考訳): 大規模言語モデル(LLM)の最近の進歩は、長い入力コンテキストを処理する能力を高めている。
この開発は、外部データストアから知識を取得することを含むタスクにおいて特に重要であり、長い入力をもたらす可能性がある。
しかし、近年の研究ではLSMの位置バイアスが示されており、入力シーケンス内の有用な情報の位置に応じて異なる性能を示す。
本研究では,位置バイアスの根本原因を明らかにするための広範囲な実験を行った。
以上の結果から,LLMの位置偏差の主な要因は,異なるモデルにおける位置嗜好に起因していることが示唆された。
位置的嗜好を克服するには,単にプロンプトベースのソリューションを採用するだけでは不十分であることを示す。
事前学習したLLMのこの位置バイアス問題に対処するため,データ拡張技術とパラメータ効率のよいアダプタからなる位置認識パラメータ効率向上(PAPEFT)アプローチを開発した。
実験により,提案手法は位置バイアスを効果的に低減し,外部から抽出した知識を必要とする様々なタスクに対する長いコンテキストシーケンス処理におけるLLMの有効性を向上することを示した。
関連論文リスト
- Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - Causal Prompting: Debiasing Large Language Model Prompting based on
Front-Door Adjustment [24.932188867289533]
大規模言語モデルのバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。
実験結果から,提案手法は3つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-03-05T07:47:34Z) - Found in the Middle: How Language Models Use Long Contexts Better via
Plug-and-Play Positional Encoding [78.36702055076456]
本稿では,マルチスケール位置決めについて紹介する。
(Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。
LLMはコンテキストの中央に位置する関連情報を扱う。
論文 参考訳(メタデータ) (2024-03-05T04:58:37Z) - ChatGPT Based Data Augmentation for Improved Parameter-Efficient
Debiasing of LLMs [69.27030571729392]
大型言語モデル(LLM)は有害な社会的バイアスを示す。
そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
論文 参考訳(メタデータ) (2024-02-19T01:28:48Z) - The Gaps between Pre-train and Downstream Settings in Bias Evaluation
and Debiasing [74.7319697510621]
In-Context Learning (ICL)は、FTベースのデバイアス法と比較して、PLMの変更を小さくする。
ICL-based debiasing method is a higher correlation between intrinsic and extrinsic bias scores than FT-based method。
論文 参考訳(メタデータ) (2024-01-16T17:15:08Z) - Extending LLMs' Context Window with 100 Samples [42.52554295241792]
LLM(Large Language Models)は、事前訓練されたコンテキストウィンドウを超えて、外挿能力に制限があることが知られている。
最近の研究は回転位置埋め込み(RoPE)を改良してコンテキストウィンドウを拡張しようとしている。
我々は、RoPEのベース周波数の調整と注意ログのスケーリングを組み合わせて、LLMがより大きなコンテキストウインドウに効率的に適応するのに役立つ新しい拡張をRoPEに導入する。
論文 参考訳(メタデータ) (2024-01-13T07:57:01Z) - Zero-Shot Position Debiasing for Large Language Models [41.601823886414294]
大規模言語モデル(LLM)における位置バイアスを軽減するため,ゼロショット位置バイアス(ZOE)フレームワークを提案する。
ZOEは3種類の位置バイアスを緩和する既存の手法より一貫して優れている。
論文 参考訳(メタデータ) (2024-01-02T14:12:41Z) - Large Language Models are Not Stable Recommender Systems [45.941176155464824]
大規模言語モデル(LLM)における探索的研究の導入と位置バイアスの一貫したパターンの発見について述べる。
本稿では,2段階パイプラインを含むベイズ確率的フレームワークSTELLA(Stable LLM for Recommendation)を提案する。
我々のフレームワークは、既存のパターン情報を利用してLCMの不安定性を校正し、レコメンデーション性能を向上させることができる。
論文 参考訳(メタデータ) (2023-12-25T14:54:33Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳(メタデータ) (2023-06-07T17:47:03Z) - Prompt-Tuning Decision Transformer with Preference Ranking [83.76329715043205]
本稿では,環境情報取得におけるRLエージェントの誘導手法としてトラジェクトリセグメントを用いたPrompt-Tuning DTアルゴリズムを提案する。
提案手法では,ガウス分布をランダムにサンプリングしてプロンプト軌道の要素を微調整し,選好ランク関数を用いて最適化方向を求める。
我々の研究は、RLにおける迅速な調整手法の進歩に寄与し、特定の選好タスクに対して大規模RLエージェントを最適化するための有望な方向性を提供する。
論文 参考訳(メタデータ) (2023-05-16T17:49:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。