論文の概要: Step by Step to Fairness: Attributing Societal Bias in Task-oriented
Dialogue Systems
- arxiv url: http://arxiv.org/abs/2311.06513v2
- Date: Tue, 14 Nov 2023 07:30:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 17:22:04.684587
- Title: Step by Step to Fairness: Attributing Societal Bias in Task-oriented
Dialogue Systems
- Title（参考訳）: 公平へのステップバイステップ:タスク指向対話システムにおける社会バイアスの帰属
- Authors: Hsuan Su, Rebecca Qian, Chinnadhurai Sankar, Shahin Shayandeh,
Shang-Tse Chen, Hung-yi Lee, Daniel M. Bikel
- Abstract要約: そこで本研究では,TODシステムの各コンポーネントにバイアスを付与する診断手法を提案する。
我々は、TODシステムのバイアスを、性別、年齢、人種の3つの人口軸に属性付ける実験を行う。
- 参考スコア（独自算出の注目度）: 42.96878402632241
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent works have shown considerable improvements in task-oriented dialogue
(TOD) systems by utilizing pretrained large language models (LLMs) in an
end-to-end manner. However, the biased behavior of each component in a TOD
system and the error propagation issue in the end-to-end framework can lead to
seriously biased TOD responses. Existing works of fairness only focus on the
total bias of a system. In this paper, we propose a diagnosis method to
attribute bias to each component of a TOD system. With the proposed attribution
method, we can gain a deeper understanding of the sources of bias.
Additionally, researchers can mitigate biased model behavior at a more granular
level. We conduct experiments to attribute the TOD system's bias toward three
demographic axes: gender, age, and race. Experimental results show that the
bias of a TOD system usually comes from the response generation model.
- Abstract（参考訳）: 近年,タスク指向対話(TOD)システムにおいて,事前学習された大規模言語モデル(LLM)をエンドツーエンドで活用することにより,大幅な改善が見られた。
しかし,TOD システムにおける各コンポーネントの偏りの挙動や,エンドツーエンドフレームワークにおけるエラー伝搬の問題により,TOD 応答のバイアスが深刻になる可能性がある。
フェアネスの既存の仕事はシステムのバイアスにのみ焦点を合わせます。
本論文では,TODシステムの各コンポーネントに偏りを生じさせる診断手法を提案する。
提案手法では,バイアスの発生源についてより深く理解することができる。
さらに、より粒度の細かいモデル挙動を緩和することができる。
性別,年齢,人種の3つの集団軸に対するtodシステムのバイアスを識別する実験を行った。
実験結果から,TODシステムのバイアスは通常応答生成モデルから生じることが示された。
関連論文リスト
- Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳（メタデータ） (2023-12-06T16:15:00Z) - Mitigating Biases for Instruction-following Language Models via Bias Neurons Elimination [54.865941973768905]
本稿では,命令追従設定における言語モデルのバイアスニューロンを除去するための,新しい実用的なバイアス緩和手法であるCRISPRを提案する。
CRISPRは自動的にバイアス出力を決定し、バイアス出力に影響を与えるニューロンを説明可能性法を用いてバイアスニューロンに分類する。
実験により,モデルのタスク性能と既存知識を損なうことなく,ゼロショット命令追従条件下でのバイアス軽減効果が示された。
論文 参考訳（メタデータ） (2023-11-16T07:16:55Z) - Identifying and Adapting Transformer-Components Responsible for Gender
Bias in an English Language Model [1.6343144783668118]
言語モデル(LM)は、性別バイアスを含むトレーニングデータから得られた多くの種類の望ましくないバイアスを示し、増幅する。
本研究では,LM成分と特定の出力の因果関係を同定する3つの手法について検討する。
本手法をGPT-2の小型化と性別バイアスの問題に適用し,検出した成分群を用いてパラメータ効率の良い微調整を行い,バイアス軽減を行う。
論文 参考訳（メタデータ） (2023-10-19T09:39:21Z) - Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。
既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。
バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文 参考訳（メタデータ） (2023-10-19T08:10:57Z) - Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。
提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。
我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
論文 参考訳（メタデータ） (2023-10-14T13:56:24Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳（メタデータ） (2023-02-22T14:50:24Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - Learning Debiased Models with Dynamic Gradient Alignment and
Bias-conflicting Sample Mining [39.00256193731365]
ディープニューラルネットワークは、堅牢性、一般化、公正性をモデル化するのに有害なデータセットバイアスに悩まされている。
難解な未知のバイアスと戦うための2段階のデバイアス方式を提案する。
論文 参考訳（メタデータ） (2021-11-25T14:50:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。