論文の概要: MAFIA: Multi-Adapter Fused Inclusive LanguAge Models

• arxiv url: http://arxiv.org/abs/2402.07519v1
• Date: Mon, 12 Feb 2024 09:41:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 15:10:09.661521
• Title: MAFIA: Multi-Adapter Fused Inclusive LanguAge Models
• Title（参考訳）: MAFIA:マルチアダプタ融合包括型LanguAgeモデル
• Authors: Prachi Jain, Ashutosh Sathe, Varun Gumma, Kabir Ahuja, Sunayana Sitaram
• Abstract要約: プレトレーニング言語モデル(PLM)は、様々なタスクでNLPで広く使われている。 近年の研究では、そのようなモデルが示す様々なバイアスを特定し、これらのバイアスを修正する方法を提案している。 本稿では,様々な社会的バイアスの相乗効果を活用し,同時にマルチバイアス・デバイアスを可能にするデバイアスモデルを提案する。
• 参考スコア（独自算出の注目度）: 13.793816113015513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained Language Models (PLMs) are widely used in NLP for various tasks. Recent studies have identified various biases that such models exhibit and have proposed methods to correct these biases. However, most of the works address a limited set of bias dimensions independently such as gender, race, or religion. Moreover, the methods typically involve finetuning the full model to maintain the performance on the downstream task. In this work, we aim to modularly debias a pretrained language model across multiple dimensions. Previous works extensively explored debiasing PLMs using limited US-centric counterfactual data augmentation (CDA). We use structured knowledge and a large generative model to build a diverse CDA across multiple bias dimensions in a semi-automated way. We highlight how existing debiasing methods do not consider interactions between multiple societal biases and propose a debiasing model that exploits the synergy amongst various societal biases and enables multi-bias debiasing simultaneously. An extensive evaluation on multiple tasks and languages demonstrates the efficacy of our approach.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、様々なタスクでNLPで広く使われている。 近年の研究では、これらのモデルが示す様々なバイアスを特定し、これらのバイアスを修正する方法を提案している。 しかしながら、ほとんどの著作は、性別、人種、宗教など、独立して限定された偏見次元に対処している。 さらに、メソッドは通常、下流タスクのパフォーマンスを維持するために、完全なモデルを微調整する。 本研究では,複数の次元にまたがる事前学習言語モデルをモジュール的にデバイアスすることを目的とする。 以前の研究は、限定的な米国中心の偽データ拡張(cda)を使用してplmのデバイアスを広範囲に検討した。 我々は構造化知識と大規模な生成モデルを用いて、半自動化された方法で複数のバイアス次元にまたがる多様なCDAを構築します。 本稿では,複数の社会的バイアス間の相互作用を考慮せず,様々な社会的バイアスの相乗効果を生かし,同時にマルチバイアス・デバイアスを可能にするデバイアスモデルを提案する。 複数のタスクや言語に対する広範な評価は、我々のアプローチの有効性を示している。

関連論文リスト

• REFINE-LM: Mitigating Language Model Stereotypes via Reinforcement Learning [18.064064773660174]
  本稿では、強化学習を用いて様々なバイアスを微調整せずに処理する脱バイアス法REFINE-LMを紹介する。 LMの単語確率分布の上に簡単なモデルをトレーニングすることにより、バイアス強化学習法により、人間のアノテーションを使わずにモデルの偏りを抑えることができる。 複数のLMを含む多種多様なモデルで行った実験により,本手法は,LMの性能を維持しながら,ステレオタイプバイアスを著しく低減することを示した。
  論文  参考訳（メタデータ） (2024-08-18T14:08:31Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
  我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。 ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。 これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
  論文  参考訳（メタデータ） (2023-11-28T16:46:14Z)
• Debiasing Algorithm through Model Adaptation [5.482673673984126]
  因果解析を行い、問題のあるモデル成分を同定し、フィードフォワードの中間層が最も偏りを伝達しやすいことを明らかにする。 解析結果に基づいて,これらの層の重み行列に線形射影を適用することにより,モデルに介入する。 提案手法であるDAMAは,下流タスクにおけるモデルの性能を維持しながら,様々な指標によって測定されるバイアスを著しく低減する。
  論文  参考訳（メタデータ） (2023-10-29T05:50:03Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Multimodal Composite Association Score: Measuring Gender Bias in Generative Multimodal Models [6.369985818712948]
  マルチモーダル・コンポジット・アソシエーション・スコア(MCAS)は,マルチモーダル・ジェネレーティブ・モデルにおいて,ジェンダーバイアスを測定する新しい手法である。 MCASは、様々なモダリティと様々な潜在的なバイアスを持つモデルの潜在的なバイアスを定量化する、アクセス可能でスケーラブルな方法である。
  論文  参考訳（メタデータ） (2023-04-26T22:53:31Z)
• Parameter-efficient Modularised Bias Mitigation via AdapterFusion [22.424110883305243]
  本稿では,モデルから分離したスタンドアロンデバイアス機能を開発するための新しい手法を提案する。 DAM - まず任意のバイアス緩和機能を個別のアダプタにカプセル化し、それをオンデマンドでモデルに追加するデバイアスのアプローチを紹介します。 以上の結果から,DAMはバイアス軽減の有効性を向上・維持し,マルチ属性シナリオでの忘れを回避し,タスク性能の維持を図っている。
  論文  参考訳（メタデータ） (2023-02-13T12:39:45Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• RedditBias: A Real-World Resource for Bias Evaluation and Debiasing of Conversational Language Models [37.98671828283487]
  テキスト表現モデルは、様々な社会的バイアスを示す傾向がある。 最近の研究は、事前訓練された言語モデルにおけるバイアスの測定と緩和に重点を置いている。 RedditBiasは、Redditによる人間の会話をベースとした初めての会話データセットだ。
  論文  参考訳（メタデータ） (2021-06-07T11:22:39Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)
• Improving QA Generalization by Concurrent Modeling of Multiple Biases [61.597362592536896]
  既存のNLPデータセットには、モデルが容易に活用できる様々なバイアスが含まれており、対応する評価セット上で高いパフォーマンスを達成することができる。 本稿では、トレーニングデータにおける複数のバイアスの同時モデリングにより、ドメイン内およびドメイン外両方のデータセットのパフォーマンスを改善するための一般的なフレームワークを提案する。 我々は,様々な領域の学習データと異なる強度の複数のバイアスを持つ抽出的質問応答の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2020-10-07T11:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。