論文の概要: Being Right for Whose Right Reasons?
- arxiv url: http://arxiv.org/abs/2306.00639v2
- Date: Fri, 13 Oct 2023 14:28:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 17:34:33.680193
- Title: Being Right for Whose Right Reasons?
- Title(参考訳): 誰に正しい理由があるのか?
- Authors: Terne Sasha Thorn Jakobsen, Laura Cabello, Anders S{\o}gaard
- Abstract要約: 本稿では,アノテータの人口統計情報を付加した人間の合理化アノテーションのコレクションである,その第1種と考えられるものについて述べる。
感情分析と常識推論にまたがる3つのデータセットと6つの人口統計群をカバーしている。
モデルが古いアノテータと/または白いアノテータの整合性に偏っていることが分かりました。
- 参考スコア(独自算出の注目度): 11.120861224127303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explainability methods are used to benchmark the extent to which model
predictions align with human rationales i.e., are 'right for the right
reasons'. Previous work has failed to acknowledge, however, that what counts as
a rationale is sometimes subjective. This paper presents what we think is a
first of its kind, a collection of human rationale annotations augmented with
the annotators demographic information. We cover three datasets spanning
sentiment analysis and common-sense reasoning, and six demographic groups
(balanced across age and ethnicity). Such data enables us to ask both what
demographics our predictions align with and whose reasoning patterns our
models' rationales align with. We find systematic inter-group annotator
disagreement and show how 16 Transformer-based models align better with
rationales provided by certain demographic groups: We find that models are
biased towards aligning best with older and/or white annotators. We zoom in on
the effects of model size and model distillation, finding -- contrary to our
expectations -- negative correlations between model size and rationale
agreement as well as no evidence that either model size or model distillation
improves fairness.
- Abstract(参考訳): 説明可能性法は、モデル予測が人間の合理性、すなわち「正しい理由のために正しい」程度をベンチマークするために用いられる。
しかし、それまでの研究は、理性として数えられるものは時々主観的であると認めなかった。
本稿では,アノテータの人口統計情報を付加した人間の合理化アノテーションのコレクションである,その第1種と考えられるものについて述べる。
感情分析と常識推論にまたがる3つのデータセットと6つの人口集団(年齢と民族のバランス)をカバーしています。
このようなデータによって、予測がどの年齢層に合致するか、モデルの理論的根拠が合致するかを問うことができます。
系統的なグループ間アノテータの不一致を発見し、16のトランスフォーマーベースのモデルが、特定の人口集団によって提供される有理性とどのように一致しているかを示す。
我々は、モデルサイズとモデル蒸留の効果を拡大し、モデルサイズと合理化合意の間の負の相関を見いだすとともに、モデルサイズまたはモデル蒸留が公正性を改善するという証拠も示さない。
関連論文リスト
- Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。
既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。
本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
論文 参考訳(メタデータ) (2023-12-20T14:26:54Z) - Social Bias Probing: Fairness Benchmarking for Language Models [48.5644008956526]
本稿では,社会的バイアスに対する言語モデル探索のための独自のフレームワークを提案する。
我々は,言語モデルの一般関連を分析するための探索データセットを収集し,社会的カテゴリ,アイデンティティ,ステレオタイプなどの軸に沿って収集する。
論文 参考訳(メタデータ) (2023-11-15T16:35:59Z) - Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。
カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。
本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
論文 参考訳(メタデータ) (2023-07-17T04:08:29Z) - Achieving Counterfactual Fairness with Imperfect Structural Causal Model [11.108866104714627]
対実フェアネスのためのミニマックスゲーム理論モデルを提案する。
また,提案したミニマックスモデルの誤差境界を理論的に証明する。
複数の実世界のデータセットに関する実証実験は、正確性と公正性の両方において、私たちの優れたパフォーマンスを示しています。
論文 参考訳(メタデータ) (2023-03-26T09:37:29Z) - Cross-model Fairness: Empirical Study of Fairness and Ethics Under Model
Multiplicity [12.413003090604093]
1つの予測者が同じパフォーマンスモデルのグループからアドホックに選択された場合、個人は害を受ける可能性がある、と我々は主張する。
これらの不公平性は実生活で容易に発見でき、技術的手段だけで緩和することは困難である可能性が示唆された。
論文 参考訳(メタデータ) (2022-03-14T14:33:39Z) - Fairness-aware Summarization for Justified Decision-Making [16.47665757950391]
テキストベースニューラルネットワークの正当化における不公平性の問題に焦点をあてる。
本研究では,これらのモデルにおけるバイアスを検出し,対処するための,公平性を考慮した要約機構を提案する。
論文 参考訳(メタデータ) (2021-07-13T17:04:10Z) - Why do classifier accuracies show linear trends under distribution
shift? [58.40438263312526]
あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。
2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。
分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
論文 参考訳(メタデータ) (2020-12-31T07:24:30Z) - To what extent do human explanations of model behavior align with actual
model behavior? [91.67905128825402]
モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。
自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。
モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
論文 参考訳(メタデータ) (2020-12-24T17:40:06Z) - Are Visual Explanations Useful? A Case Study in Model-in-the-Loop
Prediction [49.254162397086006]
画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。
モデル予測の提示により,人間の精度が向上することが判明した。
しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
論文 参考訳(メタデータ) (2020-07-23T20:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。