論文の概要: PEFTDebias : Capturing debiasing information using PEFTs

• arxiv url: http://arxiv.org/abs/2312.00434v1
• Date: Fri, 1 Dec 2023 09:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 15:21:06.209021
• Title: PEFTDebias : Capturing debiasing information using PEFTs
• Title（参考訳）: PEFTデビアス : PEFTを用いたデバイアス情報の取得
• Authors: Sumit Agarwal, Aditya Srikanth Veerubhotla, Srijan Bansal
• Abstract要約: PEFTデビアス(PEFT Debias)は,パラメータ効率のよい微調整(PEFT)を用いて基礎モデルのバイアスを軽減する手法である。 PEFTDebiasは、特定のバイアス軸に沿ってデバイアスパラメータを取得する上流フェーズと、これらのパラメータをモデルに組み込んで微調整プロセス中に凍結する下流フェーズの2つの主要なフェーズから構成される。
• 参考スコア（独自算出の注目度）: 3.6985496077087743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing use of foundation models highlights the urgent need to address and eliminate implicit biases present in them that arise during pretraining. In this paper, we introduce PEFTDebias, a novel approach that employs parameter-efficient fine-tuning (PEFT) to mitigate the biases within foundation models. PEFTDebias consists of two main phases: an upstream phase for acquiring debiasing parameters along a specific bias axis, and a downstream phase where these parameters are incorporated into the model and frozen during the fine-tuning process. By evaluating on four datasets across two bias axes namely gender and race, we find that downstream biases can be effectively reduced with PEFTs. In addition, we show that these parameters possess axis-specific debiasing characteristics, enabling their effective transferability in mitigating biases in various downstream tasks. To ensure reproducibility, we release the code to do our experiments.
• Abstract（参考訳）: 基礎モデルの利用の増加は、事前トレーニング中に発生する暗黙のバイアスに対処することの必要性を浮き彫りにしている。 本稿では,パラメータ効率のよい微調整(PEFT)を用いた基礎モデルのバイアス軽減手法であるPEFTDebiasを紹介する。 PEFTDebiasは、特定のバイアス軸に沿ってデバイアスパラメータを取得する上流フェーズと、これらのパラメータをモデルに組み込んで微調整プロセス中に凍結する下流フェーズの2つの主要なフェーズから構成される。 性別と人種の2つのバイアス軸にまたがる4つのデータセットについて評価することで,下流バイアスをペフトで効果的に低減できることがわかった。 さらに,これらのパラメータは軸特異的な偏り特性を有しており,様々な下流タスクにおけるバイアス軽減に有効であることを示す。 再現性を確保するために、実験を行うコードをリリースします。

関連論文リスト

• Towards Understanding Task-agnostic Debiasing Through the Lenses of Intrinsic Bias and Forgetfulness [10.081447621656523]
  言語モデリング能力に影響を及ぼす影響は、高品質でコンテキストの長いデバイアスコーパスによって緩和することができる。 タスク依存型デバイアスングヒンジの有効性は、下流アプリケーションに使用されるタスク固有データとデバイアスドモデルの両方の量的バイアスレベルに影響を及ぼす。 本稿では,ソーシャル・フェア・デバイアスを下流ファインチューニング,ProSocialTuningに伝達する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-06T15:11:11Z)
• Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
  プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。 射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-03-27T17:49:31Z)
• Training Unbiased Diffusion Models From Biased Dataset [18.09610829650175]
  本稿では,拡散モデルのバイアスを軽減するために,時間依存性の重要度再重み付けを提案する。 時間依存密度比が従来の手法よりも精度が高いことを示す。 スコアマッチングに直接適用することは難解であるが、再重み付けとスコア補正の両方に時間依存密度比を用いることで、目的関数の抽出可能な形式に繋がることがわかった。
  論文  参考訳（メタデータ） (2024-03-02T12:06:42Z)
• The Gaps between Pre-train and Downstream Settings in Bias Evaluation and Debiasing [74.7319697510621]
  In-Context Learning (ICL)は、FTベースのデバイアス法と比較して、PLMの変更を小さくする。 ICL-based debiasing method is a higher correlation between intrinsic and extrinsic bias scores than FT-based method。
  論文  参考訳（メタデータ） (2024-01-16T17:15:08Z)
• IBADR: an Iterative Bias-Aware Dataset Refinement Framework for Debiasing NLU models [52.03761198830643]
  IBADR(Iterative Bias-Aware dataset Refinement framework)を提案する。 まず、プール内のサンプルのバイアス度を定量化するために浅いモデルを訓練する。 次に、各サンプルにバイアス度を表すバイアス指標をペアにして、これらの拡張サンプルを使用してサンプルジェネレータを訓練する。 このようにして、このジェネレータは、バイアスインジケータとサンプルの対応関係を効果的に学習することができる。
  論文  参考訳（メタデータ） (2023-11-01T04:50:38Z)
• An Empirical Analysis of Parameter-Efficient Methods for Debiasing Pre-Trained Language Models [55.14405248920852]
  各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。 パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。 また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
  論文  参考訳（メタデータ） (2023-06-06T23:56:18Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Extracting or Guessing? Improving Faithfulness of Event Temporal Relation Extraction [87.04153383938969]
  本研究では,TempRel抽出モデルの忠実度を2つの観点から改善する。 第1の視点は、文脈記述に基づいて真に抽出することである。 第2の視点は、適切な不確実性評価を提供することである。
  論文  参考訳（メタデータ） (2022-10-10T19:53:13Z)
• Approximate Bayesian Computation for Physical Inverse Modeling [0.32771631221674324]
  本稿では,モデルパラメータ抽出プロセスを自動化する手法を提案する。 その結果, 勾配木を用いた移動曲線から抽出したパラメータを正確に予測できることが示唆された。 この研究は、提案したフレームワークと微調整されたニューラルネットワークの比較分析も提供し、提案したフレームワークの性能が向上することが示されている。
  論文  参考訳（メタデータ） (2021-11-26T02:23:05Z)
• On Transferability of Bias Mitigation Effects in Language Model Fine-Tuning [30.833538367971872]
  微調整された言語モデルは、一連のモデリングタスクにおいて保護されたグループに対するバイアスを示すことが示されている。 これまでの研究は、これらのバイアスの検出、データの表現におけるバイアスの低減、微調整時のバイアスを軽減するための補助的なトレーニング目的の使用に重点を置いていた。 下流タスクにおけるバイアスを軽減するために、上流バイアス軽減(UBM)の実現可能性とメリットについて検討する。
  論文  参考訳（メタデータ） (2020-10-24T10:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。