論文の概要: Zero-Shot Position Debiasing for Large Language Models
- arxiv url: http://arxiv.org/abs/2401.01218v2
- Date: Thu, 15 Feb 2024 08:04:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 18:57:50.987697
- Title: Zero-Shot Position Debiasing for Large Language Models
- Title(参考訳): 大規模言語モデルにおけるゼロショット位置偏差
- Authors: Zhongkun Liu, Zheng Chen, Mengqi Zhang, Zhaochun Ren, Pengjie Ren,
Zhumin Chen
- Abstract要約: 大規模言語モデル(LLM)における位置バイアスを軽減するため,ゼロショット位置バイアス(ZOE)フレームワークを提案する。
ZOEは3種類の位置バイアスを緩和する既存の手法より一貫して優れている。
- 参考スコア(独自算出の注目度): 41.601823886414294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning has been demonstrated to be an effective method to improve the
domain performance of large language models (LLMs). However, LLMs might fit the
dataset bias and shortcuts for prediction, leading to poor generation
performance. Previous works have proven that LLMs are prone to exhibit position
bias, i.e., leveraging information positioned at the beginning or end, or
specific positional cues within the input. Existing debiasing methods for LLMs
require external bias knowledge or annotated non-biased samples, which is
lacking for position debiasing and impractical in reality. In this work, we
propose a zero-shot position debiasing (ZOE) framework to mitigate position
bias for LLMs. ZOE leverages unsupervised responses from pre-trained LLMs for
debiasing without relying on any external knowledge. To improve the quality of
unsupervised responses, we propose a MSA module to prune these responses.
Experiments on eight datasets and five tasks show that ZOE consistently
outperforms existing methods in mitigating three types of position biases.
Besides, ZOE achieves this by sacrificing only a small performance on biased
samples, which is general and effective. To facilitate the reproducibility of
the results, we share the code of all methods and datasets on
https://anonymous.4open.science/r/ZOE-F06B.
- Abstract(参考訳): ファインチューニングは、大規模言語モデル(LLM)のドメイン性能を改善する効果的な手法であることが示されている。
しかし、LLMはデータセットバイアスと予測のショートカットに適合し、世代パフォーマンスが低下する可能性がある。
以前の研究は、llmが位置バイアス、すなわち、初期または終端に位置する情報、または入力内の特定の位置手がかりを利用する傾向があることを証明している。
既存のLCMの脱バイアス法では、外的バイアス知識や注釈付き非バイアスサンプルが必要であり、実際の位置脱バイアスや非実用性に欠ける。
本研究では,LLMの位置バイアスを軽減するため,ゼロショット位置バイアス(ZOE)フレームワークを提案する。
ZOEは、事前訓練されたLLMからの教師なしの応答を利用して、外部の知識に頼ることなくデバイアスを発生させる。
教師なし応答の品質を向上させるため,これらの応答をpruneするmsaモジュールを提案する。
8つのデータセットと5つのタスクの実験により、ZOEは3種類の位置バイアスを緩和する既存の手法を一貫して上回っていることが示された。
さらにZOEは、偏りのあるサンプルに小さなパフォーマンスを犠牲にして、これを達成している。
結果の再現性を高めるため、https://anonymous.4open.science/r/zoe-f06bですべてのメソッドとデータセットのコードを共有します。
関連論文リスト
- Steering LLMs Towards Unbiased Responses: A Causality-Guided Debiasing
Framework [20.753141804841]
大規模言語モデル(LLM)はバイアスや差別的な応答を容易に生成できる。
本稿では,人口統計情報とLCMのアウトプットの関連性に着目し,社会的偏見に着目した。
論文 参考訳(メタデータ) (2024-03-13T17:46:28Z) - Debiasing Large Visual Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - ChatGPT Based Data Augmentation for Improved Parameter-Efficient
Debiasing of LLMs [69.27030571729392]
大型言語モデル(LLM)は有害な社会的バイアスを示す。
そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
論文 参考訳(メタデータ) (2024-02-19T01:28:48Z) - Prompt-Based Bias Calibration for Better Zero/Few-Shot Learning of
Language Models [7.967925911756304]
事前学習された言語モデルに符号化された固有バイアスを校正するヌルインプットプロンプト法を提案する。
本手法は,テキスト内学習とプロンプトベースファインタニングの両方において,LMのゼロ/ファインショット学習性能を大幅に向上させる。
論文 参考訳(メタデータ) (2024-02-15T22:54:24Z) - The Gaps between Pre-train and Downstream Settings in Bias Evaluation
and Debiasing [74.7319697510621]
In-Context Learning (ICL)は、FTベースのデバイアス法と比較して、PLMの変更を小さくする。
ICL-based debiasing method is a higher correlation between intrinsic and extrinsic bias scores than FT-based method。
論文 参考訳(メタデータ) (2024-01-16T17:15:08Z) - Are You Sure? Challenging LLMs Leads to Performance Drops in The
FlipFlop Experiment [82.60594940370919]
大規模言語モデル(LLM)のマルチターン動作を研究するためのFlipFlop実験を提案する。
モデルが平均46%の時間で回答を反転させ、全てのモデルが最初の予測と最終予測の間に精度を低下させ、平均17%の低下(FlipFlop効果)を示す。
我々はオープンソースのLLMで微調整実験を行い、合成されたデータに対する微調整は、性能劣化を60%低減させることができるが、サイコファンティックな振る舞いを完全には解決できないことを発見した。
論文 参考訳(メタデータ) (2023-11-14T23:40:22Z) - Robust Natural Language Understanding with Residual Attention Debiasing [28.53546504339952]
本稿では,意図しないバイアスを注意から軽減するエンド・ツー・エンド・デバイアス手法を提案する。
実験により、READはショートカットを除去したOODデータ上でのBERTベースのモデルの性能を大幅に改善することが示された。
論文 参考訳(メタデータ) (2023-05-28T04:25:04Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2022-12-11T06:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。