論文の概要: Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction
- arxiv url: http://arxiv.org/abs/2403.09963v2
- Date: Tue, 26 Mar 2024 04:08:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 21:24:38.003675
- Title: Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction
- Title（参考訳）: プロンプトバイアスの注意! ファクチュアル知識抽出におけるプロンプトバイアスの調査と緩和
- Authors: Ziyang Xu, Keqin Peng, Liang Ding, Dacheng Tao, Xiliang Lu,
- Abstract要約: 近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。
本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
- 参考スコア（独自算出の注目度）: 56.17020601803071
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent research shows that pre-trained language models (PLMs) suffer from "prompt bias" in factual knowledge extraction, i.e., prompts tend to introduce biases toward specific labels. Prompt bias presents a significant challenge in assessing the factual knowledge within PLMs. Therefore, this paper aims to improve the reliability of existing benchmarks by thoroughly investigating and mitigating prompt bias. We show that: 1) all prompts in the experiments exhibit non-negligible bias, with gradient-based prompts like AutoPrompt and OptiPrompt displaying significantly higher levels of bias; 2) prompt bias can amplify benchmark accuracy unreasonably by overfitting the test datasets, especially on imbalanced datasets like LAMA. Based on these findings, we propose a representation-based approach to mitigate the prompt bias during inference time. Specifically, we first estimate the biased representation using prompt-only querying, and then remove it from the model's internal representations to generate the debiased representations, which are used to produce the final debiased outputs. Experiments across various prompts, PLMs, and benchmarks show that our approach can not only correct the overfitted performance caused by prompt bias, but also significantly improve the prompt retrieval capability (up to 10% absolute performance gain). These results indicate that our approach effectively alleviates prompt bias in knowledge evaluation, thereby enhancing the reliability of benchmark assessments. Hopefully, our plug-and-play approach can be a golden standard to strengthen PLMs toward reliable knowledge bases. Code and data are released in https://github.com/FelliYang/PromptBias.
- Abstract（参考訳）: 近年の研究では、事前学習言語モデル(PLM)は、事実知識抽出において「急激なバイアス」、すなわち特定のラベルに対するバイアスをもたらす傾向があることが示されている。
プロンプトバイアスは、PLM内の事実知識を評価する上で重要な課題である。
そこで本論文は,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
以下に示す。
1) 実験のすべてのプロンプトは無視できないバイアスを示し、AutoPromptやOptiPromptのような勾配に基づくプロンプトは、はるかに高いバイアスを示す。
2) プロンプトバイアスは、テストデータセット、特にLAMAのような不均衡なデータセットに過度に適合させることで、ベンチマークの精度を不合理に増幅することができる。
これらの知見に基づき,提案手法は推論時間における即時バイアスを軽減するための表現に基づく手法を提案する。
具体的には、まずプロンプトのみのクエリを用いてバイアス表現を推定し、それからモデルの内部表現からデバイアス表現を除去し、最終的なデバイアス出力を生成する。
様々なプロンプト, PLM, ベンチマーク実験により, 本手法は, 即時バイアスによる過度な性能の補正だけでなく, 即時検索能力(絶対性能の10%まで)を大幅に改善できることを示した。
これらの結果から,本手法は知識評価における迅速なバイアスを効果的に軽減し,ベンチマーク評価の信頼性を高めることが示唆された。
私たちのプラグイン・アンド・プレイアプローチは、信頼できる知識ベースに向けてPLMを強化するための黄金の標準になり得ることを願っています。
コードとデータはhttps://github.com/FelliYang/PromptBias.comで公開されている。
関連論文リスト
- Reasoning Beyond Bias: A Study on Counterfactual Prompting and Chain of Thought Reasoning [0.0]
回答の選択肢によって学習された規則性の違いは、モデルの好みを予測し、人間のテストテイク戦略を反映していることが示される。
我々は2つの新しい方法を紹介した: 思考の連鎖(CoT)と素素数CoT(Agnostically Primed CoT)による反実的プロンプト(APriCoT)である。
以上の結果から,予測バイアスの緩和には「システム-2」のようなプロセスが必要であることが示唆された。
論文 参考訳（メタデータ） (2024-08-16T10:34:50Z) - Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。
FASTは最先端のベースラインを超え、デバイアス性能が優れている。
これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文 参考訳（メタデータ） (2024-08-07T17:14:58Z) - Language-guided Detection and Mitigation of Unknown Dataset Bias [23.299264313976213]
本稿では,キャプションの部分的発生に基づく事前知識のないキーワードとして潜在的なバイアスを識別する枠組みを提案する。
我々のフレームワークは、事前知識のない既存のメソッドよりも優れているだけでなく、事前知識を前提としたメソッドにさえ匹敵する。
論文 参考訳（メタデータ） (2024-06-05T03:11:33Z) - Beyond Performance: Quantifying and Mitigating Label Bias in LLMs [8.77694178599322]
モデル予測におけるラベルバイアスを定量化するための様々なアプローチを評価する。
本研究により, 脱バイアス前後のモデルに有意なラベルバイアスが認められた。
数発のプロンプトに適したラベルバイアス校正法を提案する。
論文 参考訳（メタデータ） (2024-05-04T19:53:03Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-11T12:02:14Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T12:28:25Z) - Unbiased Learning to Rank with Biased Continuous Feedback [5.561943356123711]
雑音フィードバックに基づいて相対関係を正確にモデル化するために,非バイアス学習 to ランク(LTR)アルゴリズムを検証した。
パーソナライズされた高品質なレコメンデーション結果を提供するために、レコメンダシステムはカテゴリと継続的なバイアスフィードバックの両方をモデルにする必要があります。
位置バイアス、信頼バイアス、ユーザ関係を明確に区別するために、ペアワイズ信頼バイアスを導入します。
Tencent Newsの公開ベンチマークデータセットと大規模レコメンデータシステムの内部ライブトラフィックの実験結果は、連続ラベルに対して優れた結果を示している。
論文 参考訳（メタデータ） (2023-03-08T02:14:08Z) - ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。
意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。
本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
論文 参考訳（メタデータ） (2022-11-10T08:41:40Z) - Whole Page Unbiased Learning to Rank [59.52040055543542]
アンバイアスド・ラーニング・トゥ・ランク(ULTR)アルゴリズムは、バイアスド・クリックデータを用いたアンバイアスド・ランキングモデルを学ぶために提案される。
本稿では,BALというアルゴリズムをランク付けするバイアス非依存学習を提案する。
実世界のデータセットによる実験結果から,BALの有効性が検証された。
論文 参考訳（メタデータ） (2022-10-19T16:53:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。