論文の概要: The Gaps between Pre-train and Downstream Settings in Bias Evaluation and Debiasing

• arxiv url: http://arxiv.org/abs/2401.08511v1
• Date: Tue, 16 Jan 2024 17:15:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 19:04:16.439238
• Title: The Gaps between Pre-train and Downstream Settings in Bias Evaluation and Debiasing
• Title（参考訳）: バイアス評価と偏り評価におけるプレトレインと下流設定のギャップ
• Authors: Masahiro Kaneko, Danushka Bollegala, Timothy Baldwin
• Abstract要約: In-Context Learning (ICL)は、FTベースのデバイアス法と比較して、PLMの変更を小さくする。 ICL-based debiasing method is a higher correlation between intrinsic and extrinsic bias scores than FT-based method。
• 参考スコア（独自算出の注目度）: 74.7319697510621
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The output tendencies of Pre-trained Language Models (PLM) vary markedly before and after Fine-Tuning (FT) due to the updates to the model parameters. These divergences in output tendencies result in a gap in the social biases of PLMs. For example, there exits a low correlation between intrinsic bias scores of a PLM and its extrinsic bias scores under FT-based debiasing methods. Additionally, applying FT-based debiasing methods to a PLM leads to a decline in performance in downstream tasks. On the other hand, PLMs trained on large datasets can learn without parameter updates via In-Context Learning (ICL) using prompts. ICL induces smaller changes to PLMs compared to FT-based debiasing methods. Therefore, we hypothesize that the gap observed in pre-trained and FT models does not hold true for debiasing methods that use ICL. In this study, we demonstrate that ICL-based debiasing methods show a higher correlation between intrinsic and extrinsic bias scores compared to FT-based methods. Moreover, the performance degradation due to debiasing is also lower in the ICL case compared to that in the FT case.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)の出力傾向は、モデルパラメータの更新により、FT(Fin-Tuning)の前後で顕著に変化する。 これらの出力傾向のばらつきは、PLMの社会的バイアスのギャップをもたらす。 例えば、FT-based debiasing法では、PLMの内在バイアススコアと外在バイアススコアとの相関が低い。 さらに、FTベースのデバイアス法をPLMに適用すると、下流タスクのパフォーマンスが低下する。 一方、大規模なデータセットでトレーニングされたPLMは、プロンプトを使用してICL(In-Context Learning)を介してパラメータ更新なしで学習することができる。 ICLはFT-based debiasing法に比べてPLMの変化が小さい。 そこで本研究では,ICLを用いたデバイアス法において,事前学習モデルとFTモデルで観測されるギャップが正しくないことを仮定する。 本研究では,ICLに基づくデバイアス法が,FT法と比較して内在バイアススコアと外因バイアススコアの相関性が高いことを示した。 また, ICL症例では, FT例に比べ, 脱バイアスによる性能劣化も低い傾向を示した。

関連論文リスト

• Towards Understanding Task-agnostic Debiasing Through the Lenses of Intrinsic Bias and Forgetfulness [10.081447621656523]
  言語モデリング能力に影響を及ぼす影響は、高品質でコンテキストの長いデバイアスコーパスによって緩和することができる。 タスク依存型デバイアスングヒンジの有効性は、下流アプリケーションに使用されるタスク固有データとデバイアスドモデルの両方の量的バイアスレベルに影響を及ぼす。 本稿では,ソーシャル・フェア・デバイアスを下流ファインチューニング,ProSocialTuningに伝達する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-06T15:11:11Z)
• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment [32.12998469814097]
  大規模言語モデル(LLM)のバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。 実験結果から,提案手法は7つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-03-05T07:47:34Z)
• ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs [65.9625653425636]
  大型言語モデル(LLM)は有害な社会的バイアスを示す。 そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T01:28:48Z)
• Prompt-Based Bias Calibration for Better Zero/Few-Shot Learning of Language Models [7.089534153472173]
  事前学習された言語モデルに符号化された固有バイアスを校正するヌルインプットプロンプト法を提案する。 本手法は,テキスト内学習とプロンプトベースファインタニングの両方において,LMのゼロ/ファインショット学習性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-02-15T22:54:24Z)
• Marginal Debiased Network for Fair Visual Recognition [59.05212866862219]
  本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。 我々のMDNは、表現不足のサンプルに対して顕著な性能を達成できる。
  論文  参考訳（メタデータ） (2024-01-04T08:57:09Z)
• Self-Supervised Position Debiasing for Large Language Models [39.261233221850155]
  大規模言語モデル(LLM)における位置バイアスを軽減するための自己教師型位置偏差検出(SOD)フレームワークを提案する。 8つのデータセットと5つのタスクの実験により、SODは3つのタイプの位置バイアスを緩和する既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T14:12:41Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Debiasing Neural Retrieval via In-batch Balancing Regularization [25.941718123899356]
  我々は,nPRF上でのT-統計を有効活用し,公平性を向上させるために,識別可能なテキストトナー付きペアワイドランキングフェアネス(nPRF)を開発した。 nPRF を用いた手法は,ベースラインに比べてランク付け性能の低下が最小限に抑えられ,バイアスが大幅に低減される。
  論文  参考訳（メタデータ） (2022-05-18T22:57:15Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。