論文の概要: Should We Attend More or Less? Modulating Attention for Fairness

• arxiv url: http://arxiv.org/abs/2305.13088v2
• Date: Fri, 2 Aug 2024 19:20:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 00:45:00.833744
• Title: Should We Attend More or Less? Modulating Attention for Fairness
• Title（参考訳）: 注意すべきことは多かれ少なかれあるべきか?
• Authors: Abdelrahman Zayed, Goncalo Mordido, Samira Shabanian, Sarath Chandar,
• Abstract要約: 社会的バイアスの伝播において,現在最先端のNLPモデルにおいて広く用いられている手法である注意の役割について検討する。 トレーニング後のモデルフェアネスを改善するために,注目度を変調する新しい手法を提案する。 本結果から,テキスト分類や生成タスクにおいて,公平性の増加と性能損失の最小化が示唆された。
• 参考スコア（独自算出の注目度）: 11.91250446389124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advances in natural language processing (NLP) pose both opportunities and challenges. While recent progress enables the development of high-performing models for a variety of tasks, it also poses the risk of models learning harmful biases from the data, such as gender stereotypes. In this work, we investigate the role of attention, a widely-used technique in current state-of-the-art NLP models, in the propagation of social biases. Specifically, we study the relationship between the entropy of the attention distribution and the model's performance and fairness. We then propose a novel method for modulating attention weights to improve model fairness after training. Since our method is only applied post-training and pre-inference, it is an intra-processing method and is, therefore, less computationally expensive than existing in-processing and pre-processing approaches. Our results show an increase in fairness and minimal performance loss on different text classification and generation tasks using language models of varying sizes. WARNING: This work uses language that is offensive.
• Abstract（参考訳）: 自然言語処理(NLP)の進歩は、機会と課題の両方をもたらす。 最近の進歩は、様々なタスクのためのハイパフォーマンスなモデルの開発を可能にする一方で、ジェンダーステレオタイプのようなデータから有害なバイアスを学習するモデルのリスクも引き起こす。 本研究では,現在最先端のNLPモデルにおいて広く用いられている,社会バイアスの伝播における注意の役割について検討する。 具体的には,注意分布のエントロピーとモデルの性能,公平性の関係について検討する。 そこで本研究では,トレーニング後のモデルフェアネスを改善するために,注目度を変調する新しい手法を提案する。 本手法はトレーニング後および事前推論にのみ適用されるため,プロセス内手法であり,既存のプロセス内手法や事前処理手法よりも計算コストが低い。 本研究の結果は,テキストの分類や生成タスクにおいて,様々なサイズの言語モデルを用いて,公平さと最小性能の損失の増加を示す。 WARNING: この仕事は攻撃的な言語を使用します。

関連論文リスト

• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
  対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。 提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-12-14T15:53:07Z)
• The Fairness Stitch: Unveiling the Potential of Model Stitching in Neural Network De-Biasing [0.043512163406552]
  本研究では,深層学習モデルの公平性を高めるために,"The Fairness Stitch"と呼ばれる新しい手法を提案する。 我々はCelebAとUTKFaceの2つのよく知られたデータセットを総合的に評価する。 フェアネスとパフォーマンスのバランスの取れたトレードオフを達成する上で, 顕著な改善がみられた。
  論文  参考訳（メタデータ） (2023-11-06T21:14:37Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Modeling Techniques for Machine Learning Fairness: A Survey [17.925809181329015]
  近年,機械学習モデルのバイアスを軽減するため,様々な手法が開発されている。 本稿では,プロセス内バイアス軽減技術の現状を概観する。
  論文  参考訳（メタデータ） (2021-11-04T17:17:26Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)
• FairALM: Augmented Lagrangian Method for Training Fair Models with Little Regret [42.66567001275493]
  現在、我々がモデルに提示するデータセットのバイアスのため、公正な公開トレーニングが不公平なモデルにつながることは受け入れられている。 そこで本研究では,モデルのトレーニング中に公平性を同時に課すメカニズムについて検討する。
  論文  参考訳（メタデータ） (2020-04-03T03:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。