論文の概要: The Trade-off between Performance, Efficiency, and Fairness in Adapter Modules for Text Classification
- arxiv url: http://arxiv.org/abs/2405.02010v1
- Date: Fri, 3 May 2024 11:18:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 13:05:54.634512
- Title: The Trade-off between Performance, Efficiency, and Fairness in Adapter Modules for Text Classification
- Title（参考訳）: テキスト分類における適応モジュールの性能, 効率, 公平性のトレードオフ
- Authors: Minh Duc Bui, Katharina von der Wense,
- Abstract要約: 我々は,(1)全てのパラメータを微調整するか,(2)アダプタモジュールを用いて3つのテキスト分類データセットで実験を行う。
性能と効率については,アダプタ強化モデルの精度が完全微調整モデルの精度とほぼ同等であることを確認する。
アダプタモジュールは、センシティブなグループ間で混合フェアネスをもたらすことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current natural language processing (NLP) research tends to focus on only one or, less frequently, two dimensions - e.g., performance, privacy, fairness, or efficiency - at a time, which may lead to suboptimal conclusions and often overlooking the broader goal of achieving trustworthy NLP. Work on adapter modules (Houlsby et al., 2019; Hu et al., 2021) focuses on improving performance and efficiency, with no investigation of unintended consequences on other aspects such as fairness. To address this gap, we conduct experiments on three text classification datasets by either (1) finetuning all parameters or (2) using adapter modules. Regarding performance and efficiency, we confirm prior findings that the accuracy of adapter-enhanced models is roughly on par with that of fully finetuned models, while training time is substantially reduced. Regarding fairness, we show that adapter modules result in mixed fairness across sensitive groups. Further investigation reveals that, when the standard fine-tuned model exhibits limited biases, adapter modules typically do not introduce extra bias. On the other hand, when the finetuned model exhibits increased bias, the impact of adapter modules on bias becomes more unpredictable, introducing the risk of significantly magnifying these biases for certain groups. Our findings highlight the need for a case-by-case evaluation rather than a one-size-fits-all judgment.
- Abstract（参考訳）: 現在の自然言語処理(NLP)の研究は、ある時点では、パフォーマンス、プライバシ、公平性、効率性の2つの次元にのみ焦点をあてる傾向にあり、これは最適以下の結論を導き、しばしば信頼できるNLPを達成するというより広い目標を見越すことになる。
アダプタモジュール(Houlsby et al , 2019; Hu et al , 2021)の開発は、パフォーマンスと効率の改善に重点を置いている。
このギャップに対処するため,(1)全てのパラメータを微調整するか,(2)アダプタモジュールを用いて3つのテキスト分類データセットで実験を行う。
性能と効率については,アダプタ強化モデルの精度が完全微調整モデルの精度とほぼ同等であるのに対して,トレーニング時間は大幅に短縮されていることを確認する。
公平性については、アダプタモジュールがセンシティブなグループ間で混合公正性をもたらすことを示す。
さらなる調査により、標準微調整モデルが限られたバイアスを示す場合、アダプタモジュールは通常、余分なバイアスを導入しないことが明らかになった。
一方、微調整モデルがバイアスを増大させると、アダプタモジュールがバイアスに与える影響は予測不能になり、特定のグループに対してこれらのバイアスを著しく増大させるリスクが生じる。
以上より, ケース・バイ・ケース・アセスメントの必要性が示唆された。
関連論文リスト
- Effective Controllable Bias Mitigation for Classification and Retrieval
using Gate Adapters [15.04666532311815]
調整可能な感度パラメータを持つ新しいモジュラーゲーティング機構である制御可能なゲートアダプタ(ConGater)を導入する。
本研究では,(1)正当性リストの正則化による検索結果の偏りの低減と,(2)正当性リストの正則化による検索結果の偏りの低減,という3つの分類課題に対して,逆偏り実験を3つの異なるモデルで実施することで,ConGaterのパフォーマンスを実証する。
本研究の結果から, 完全脱バイアス型 ConGater は, 最近の強靭性ベースラインの2倍以上のタスク性能を維持しつつ, 同等の公平性を達成できることが示唆された。
論文 参考訳（メタデータ） (2024-01-29T09:15:50Z) - Empirical Analysis of Efficient Fine-Tuning Methods for Large
Pre-Trained Language Models [4.096453902709292]
BitFitとアダプタモジュールは、標準のフルモデルファインチューニングと比較される。
BitFitアプローチは、さまざまなトレーニングデータにわたる完全な微調整パフォーマンスと一致します。
アダプタモジュールは、デフォルトモデルよりも一貫性のないゲインを持つ、高い可変性を示す。
論文 参考訳（メタデータ） (2024-01-08T17:44:43Z) - Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。
提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。
我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
論文 参考訳（メタデータ） (2023-10-14T13:56:24Z) - An Empirical Analysis of Parameter-Efficient Methods for Debiasing
Pre-Trained Language Models [55.14405248920852]
各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。
パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。
また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
論文 参考訳（メタデータ） (2023-06-06T23:56:18Z) - Towards Efficient Visual Adaption via Structural Re-parameterization [76.57083043547296]
本稿では,RepAdapterと呼ばれる巨大ビジョンモデルに対して,パラメータ効率と計算親和性を考慮したアダプタを提案する。
RepAdapterは、VTAB-1k上で25%のトレーニング時間、20%のGPUメモリ、94.6%のストレージコストを節約できる。
論文 参考訳（メタデータ） (2023-02-16T06:14:15Z) - Parameter-efficient Modularised Bias Mitigation via AdapterFusion [22.424110883305243]
本稿では,モデルから分離したスタンドアロンデバイアス機能を開発するための新しい手法を提案する。
DAM - まず任意のバイアス緩和機能を個別のアダプタにカプセル化し、それをオンデマンドでモデルに追加するデバイアスのアプローチを紹介します。
以上の結果から,DAMはバイアス軽減の有効性を向上・維持し,マルチ属性シナリオでの忘れを回避し,タスク性能の維持を図っている。
論文 参考訳（メタデータ） (2023-02-13T12:39:45Z) - Modular and On-demand Bias Mitigation with Attribute-Removal Subnetworks [10.748627178113418]
本稿では, 単独で高度に疎細なデビアシングワークからなる, 新たなモジュラーバイアス緩和手法を提案する。
我々は、性別、人種、年齢の3つの分類タスクを保護属性として実験する。
論文 参考訳（メタデータ） (2022-05-30T15:21:25Z) - On the Limits of Evaluating Embodied Agent Model Generalization Using
Validation Sets [101.28658250723804]
本稿では,より広い視野を効果的に活用し,次のステップでナビゲーションや操作を行うかを選択するモジュールによるトランスフォーマーモデルの拡張実験を行う。
提案したモジュールは改良され,実際に,一般的なベンチマークデータセットであるALFREDの未確認検証セット上での最先端のパフォーマンスが向上した。
この結果は、機械学習タスクではより広い現象かもしれないが、主にテストスプリットの評価を制限するベンチマークでのみ顕著である、と我々は考えているので強調する。
論文 参考訳（メタデータ） (2022-05-18T23:52:21Z) - Exploring Strategies for Generalizable Commonsense Reasoning with
Pre-trained Models [62.28551903638434]
モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。
2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。
我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
論文 参考訳（メタデータ） (2021-09-07T03:13:06Z) - Adversarial Filters of Dataset Biases [96.090959788952]
大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。
それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。
このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
論文 参考訳（メタデータ） (2020-02-10T21:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。