論文の概要: An Empirical Analysis of Parameter-Efficient Methods for Debiasing Pre-Trained Language Models

• arxiv url: http://arxiv.org/abs/2306.04067v1
• Date: Tue, 6 Jun 2023 23:56:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 16:50:05.061953
• Title: An Empirical Analysis of Parameter-Efficient Methods for Debiasing Pre-Trained Language Models
• Title（参考訳）: 事前学習した言語モデルに対するパラメータ効率向上手法の実証的解析
• Authors: Zhongbin Xie, Thomas Lukasiewicz
• Abstract要約: 各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。 パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。 また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
• 参考スコア（独自算出の注目度）: 55.14405248920852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasingly large size of modern pretrained language models not only makes them inherit more human-like biases from the training corpora, but also makes it computationally expensive to mitigate such biases. In this paper, we investigate recent parameter-efficient methods in combination with counterfactual data augmentation (CDA) for bias mitigation. We conduct extensive experiments with prefix tuning, prompt tuning, and adapter tuning on different language models and bias types to evaluate their debiasing performance and abilities to preserve the internal knowledge of a pre-trained model. We find that the parameter-efficient methods (i) are effective in mitigating gender bias, where adapter tuning is consistently the most effective one and prompt tuning is more suitable for GPT-2 than BERT, (ii) are less effective when it comes to racial and religious bias, which may be attributed to the limitations of CDA, and (iii) can perform similarly to or sometimes better than full fine-tuning with improved time and memory efficiency, as well as maintain the internal knowledge in BERT and GPT-2, evaluated via fact retrieval and downstream fine-tuning.
• Abstract（参考訳）: 現代の事前学習された言語モデルの大規模化は、トレーニングコーパスから人間のようなバイアスを継承するだけでなく、そのようなバイアスを緩和する計算コストも高めている。 本稿では,近年のパラメータ効率向上手法と,バイアス軽減のための対実データ拡張(CDA)を併用して検討する。 我々は,プレフィックスチューニング,アクシデントチューニング,各種言語モデルおよびバイアスモデルに対するアダプタチューニングによる広範囲な実験を行い,それらのバイアス性能と,事前学習モデルの内部知識を維持する能力を評価する。 パラメーター効率の良い方法は i) ジェンダーバイアスの緩和に有効であり, アダプタチューニングが一貫して有効であり, 即時チューニングがBERTよりもGPT-2に適している。 (ii)人種的・宗教的偏見に関しては、CDAの限界に起因する可能性があるが、効果が低い。 (iii) は、時間とメモリ効率を改善した完全な微調整と同様に、時として優れた性能を発揮することができ、また、事実検索と下流微調整によって評価されるbertとgpt-2の内部知識を維持することができる。

関連論文リスト

• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
  プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。 射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-03-27T17:49:31Z)
• AAT: Adapting Audio Transformer for Various Acoustics Recognition Tasks [4.789838330230841]
  本稿では,アダプタチューニングに基づく効率的な微調整手法,すなわちAATを提案する。 本手法は,パラメータの7.118%を最適化しながら,フル微調整に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-01-19T08:07:59Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Stabilizing Subject Transfer in EEG Classification with Divergence Estimation [17.924276728038304]
  脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。 理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。 我々は、これらの関係を2段階で強制する正規化罰則を設計する。
  論文  参考訳（メタデータ） (2023-10-12T23:06:52Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Effectiveness of Data Augmentation for Parameter Efficient Tuning with Limited Data [30.869230680173825]
  P-tuningモデルとLoRAモデルの性能向上にデータ拡張が有効であることを示す。 我々は,P-tuningが文の埋め込みを異なる種類の拡張データから分離するより限定的な能力を示すことを示す。
  論文  参考訳（メタデータ） (2023-03-05T04:12:17Z)
• Parameter-efficient Modularised Bias Mitigation via AdapterFusion [22.424110883305243]
  本稿では,モデルから分離したスタンドアロンデバイアス機能を開発するための新しい手法を提案する。 DAM - まず任意のバイアス緩和機能を個別のアダプタにカプセル化し、それをオンデマンドでモデルに追加するデバイアスのアプローチを紹介します。 以上の結果から,DAMはバイアス軽減の有効性を向上・維持し,マルチ属性シナリオでの忘れを回避し,タスク性能の維持を図っている。
  論文  参考訳（メタデータ） (2023-02-13T12:39:45Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models [51.53936551681613]
  我々は、事前訓練されたBERTモデルのバイアス項(またはバイアス項のサブセット)のみを微調整することは、モデル全体を微調整する(そして、時にはそれよりも優れている)ことを示す。 彼らは、ファインタニングは、新しいタスク固有の言語知識を学ぶのではなく、言語モデリングの訓練によって引き起こされる知識を明らかにすることであるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-18T16:09:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。