Fugu-MT 論文翻訳(概要): Mitigating Label Biases for In-context Learning

論文の概要: Mitigating Label Biases for In-context Learning

arxiv url: http://arxiv.org/abs/2305.19148v2
Date: Sat, 10 Jun 2023 07:31:42 GMT
ステータス: 処理完了
システム内更新日: 2023-06-13 23:46:06.766585
Title: Mitigating Label Biases for In-context Learning
Title（参考訳）: 文脈内学習におけるラベルバイアスの軽減
Authors: Yu Fei, Yifan Hou, Zeming Chen, Antoine Bosselut
Abstract要約: インコンテキスト学習(ICL)のための様々な設計設定は、タスクの理解を反映することなく、特定の予測に向けてモデルをバイアスすることができる。本研究は,テキスト分類におけるICLの3種類のラベルバイアスに対して,バニララベルバイアス,コンテキストラベルバイアス,ドメインラベルバイアスの3種類のタイプを定義した。
参考スコア（独自算出の注目度）: 28.209613730240633
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Various design settings for in-context learning (ICL), such as the choice and order of the in-context examples, can bias a model toward a particular prediction without being reflective of an understanding of the task. While many studies discuss these design choices, there have been few systematic investigations into categorizing them and mitigating their impact. In this work, we define a typology for three types of label biases in ICL for text classification: vanilla-label bias, context-label bias, and domain-label bias (which we conceptualize and detect for the first time). Our analysis demonstrates that prior label bias calibration methods fall short of addressing all three types of biases. Specifically, domain-label bias restricts LLMs to random-level performance on many tasks regardless of the choice of in-context examples. To mitigate the effect of these biases, we propose a simple bias calibration method that estimates a language model's label bias using random in-domain words from the task corpus. After controlling for this estimated bias when making predictions, our novel domain-context calibration significantly improves the ICL performance of GPT-J and GPT-3 on a wide range of tasks. The gain is substantial on tasks with large domain-label bias (up to 37% in Macro-F1). Furthermore, our results generalize to models with different scales, pretraining methods, and manually-designed task instructions, showing the prevalence of label biases in ICL.
Abstract（参考訳）: インコンテキスト学習(ICL)における様々な設計設定、例えばインコンテキストの例の選択と順序は、タスクの理解を反映することなく、特定の予測に向けてモデルをバイアスすることができる。多くの研究がこれらの設計選択について論じているが、それらを分類し、その影響を緩和する体系的な調査はほとんど行われていない。本研究では,テキスト分類におけるICLの3種類のラベルバイアスについて,バニララベルバイアス,コンテキストラベルバイアス,ドメインラベルバイアス(概念化と検出を初めて行う)の3種類のタイプを定義した。本分析により, 先行ラベルバイアス校正法は, 3種類のバイアスに対処できないことがわかった。特に、ドメインラベルバイアスは、コンテキスト内例の選択によらず、多くのタスクでllmをランダムレベルのパフォーマンスに制限する。これらのバイアスの影響を緩和するために,タスクコーパスからランダムなドメイン内単語を用いて言語モデルのラベルバイアスを推定する簡易なバイアス校正法を提案する。予測時のこの推定バイアスを制御した後、ドメインコンテキストキャリブレーションにより、幅広いタスクにおけるGPT-JとGPT-3のICL性能が大幅に向上する。利益はドメインラベルバイアスが大きいタスク(マクロf1では最大37%)に相当します。さらに,様々なスケール,プリトレーニング手法,手作業によるタスク指示のモデルに一般化し,iclにおけるラベルバイアスの有意さを示した。

関連論文リスト

Unlabeled Debiasing in Downstream Tasks via Class-wise Low Variance Regularization [13.773597081543185]
本稿では,組込みのクラスワイドな分散に基づく新しいデバイアス正規化手法を提案する。提案手法は属性ラベルを必要とせず,属性をターゲットとせず,既存のデバイアス手法の欠点に対処する。
論文参考訳（メタデータ） (2024-09-29T03:56:50Z)
Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective [6.164100243945264]
半教師付き学習(SSL)は、モデルが特定のクラスを不均等に好むという、一般的に確認バイアスを示す。 SSLのデバイアスドトレーニングのための統合フレームワークであるTaMatchを紹介します。 TaMatchは,様々な課題の画像分類タスクにおいて,既存の最先端手法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2024-09-26T21:50:30Z)
A Debiased Nearest Neighbors Framework for Multi-Label Text Classification [13.30576550077694]
マルチラベルテキスト分類(MLTC)のためのDebiased Nearest Neighbors(DENN)フレームワークについて紹介する。組込みアライメントバイアスに対処するために,ラベル共起における近傍の一貫性を向上する,非バイアス付きコントラスト学習戦略を提案する。信頼度推定バイアスには,$k$NNの予測と帰納的二分分類の適応的組み合わせを改善し,偏りのある信頼度推定戦略を提案する。
論文参考訳（メタデータ） (2024-08-06T14:00:23Z)
Beyond Performance: Quantifying and Mitigating Label Bias in LLMs [8.77694178599322]
モデル予測におけるラベルバイアスを定量化するための様々なアプローチを評価する。本研究により, 脱バイアス前後のモデルに有意なラベルバイアスが認められた。数発のプロンプトに適したラベルバイアス校正法を提案する。
論文参考訳（メタデータ） (2024-05-04T19:53:03Z)
Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文参考訳（メタデータ） (2023-10-18T10:32:39Z)
Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
論文参考訳（メタデータ） (2023-10-13T00:49:09Z)
Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文参考訳（メタデータ） (2023-09-07T17:44:56Z)
Less Learn Shortcut: Analyzing and Mitigating Learning of Spurious Feature-Label Correlation [44.319739489968164]
ディープニューラルネットワークは、タスクを理解するのではなく、意思決定をするためのショートカットとしてデータセットバイアスを取ることが多い。本研究では,モデルがバイアスデータ分布から学習する単語特徴とラベルとの素早い相関に着目した。本手法は, 偏りのある例と下級者の偏り度を定量的に評価する学習戦略である。
論文参考訳（メタデータ） (2022-05-25T09:08:35Z)
Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
論文参考訳（メタデータ） (2022-01-08T07:48:36Z)
General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文参考訳（メタデータ） (2021-12-20T14:47:32Z)
Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文参考訳（メタデータ） (2021-09-16T23:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。