論文の概要: Being Right for Whose Right Reasons?

• arxiv url: http://arxiv.org/abs/2306.00639v2
• Date: Fri, 13 Oct 2023 14:28:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 17:34:33.680193
• Title: Being Right for Whose Right Reasons?
• Title（参考訳）: 誰に正しい理由があるのか?
• Authors: Terne Sasha Thorn Jakobsen, Laura Cabello, Anders S{\o}gaard
• Abstract要約: 本稿では,アノテータの人口統計情報を付加した人間の合理化アノテーションのコレクションである,その第1種と考えられるものについて述べる。 感情分析と常識推論にまたがる3つのデータセットと6つの人口統計群をカバーしている。 モデルが古いアノテータと/または白いアノテータの整合性に偏っていることが分かりました。
• 参考スコア（独自算出の注目度）: 11.120861224127303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainability methods are used to benchmark the extent to which model predictions align with human rationales i.e., are 'right for the right reasons'. Previous work has failed to acknowledge, however, that what counts as a rationale is sometimes subjective. This paper presents what we think is a first of its kind, a collection of human rationale annotations augmented with the annotators demographic information. We cover three datasets spanning sentiment analysis and common-sense reasoning, and six demographic groups (balanced across age and ethnicity). Such data enables us to ask both what demographics our predictions align with and whose reasoning patterns our models' rationales align with. We find systematic inter-group annotator disagreement and show how 16 Transformer-based models align better with rationales provided by certain demographic groups: We find that models are biased towards aligning best with older and/or white annotators. We zoom in on the effects of model size and model distillation, finding -- contrary to our expectations -- negative correlations between model size and rationale agreement as well as no evidence that either model size or model distillation improves fairness.
• Abstract（参考訳）: 説明可能性法は、モデル予測が人間の合理性、すなわち「正しい理由のために正しい」程度をベンチマークするために用いられる。 しかし、それまでの研究は、理性として数えられるものは時々主観的であると認めなかった。 本稿では,アノテータの人口統計情報を付加した人間の合理化アノテーションのコレクションである,その第1種と考えられるものについて述べる。 感情分析と常識推論にまたがる3つのデータセットと6つの人口集団(年齢と民族のバランス)をカバーしています。 このようなデータによって、予測がどの年齢層に合致するか、モデルの理論的根拠が合致するかを問うことができます。 系統的なグループ間アノテータの不一致を発見し、16のトランスフォーマーベースのモデルが、特定の人口集団によって提供される有理性とどのように一致しているかを示す。 我々は、モデルサイズとモデル蒸留の効果を拡大し、モデルサイズと合理化合意の間の負の相関を見いだすとともに、モデルサイズまたはモデル蒸留が公正性を改善するという証拠も示さない。

関連論文リスト

• "Patriarchy Hurts Men Too." Does Your Model Agree? A Discussion on Fairness Assumptions [3.706222947143855]
  グループフェアネスの文脈では、このアプローチはデータへのバイアスの導入方法に関する暗黙の仮定を曖昧にすることが多い。 我々は偏りの過程が公正スコアの単調関数であり、感度属性のみに依存すると仮定している。 偏見過程の振舞いは単なる単調性よりも複雑であり、つまり暗黙の仮定を特定し、否定する必要がある。
  論文  参考訳（メタデータ） (2024-08-01T07:06:30Z)
• Less can be more: representational vs. stereotypical gender bias in facial expression recognition [3.9698529891342207]
  機械学習モデルは、トレーニングデータからバイアスを継承し、差別的または不正確な予測につながる。 本稿では、データセットから機械学習モデルへの人口統計バイアスの伝播について検討する。 ジェンダーの人口構成に焦点をあて、表現とステレオタイプという2種類の偏見を分析した。
  論文  参考訳（メタデータ） (2024-06-25T09:26:49Z)
• Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
  テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。 既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。 本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:26:54Z)
• Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
  公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。 カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。 本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
  論文  参考訳（メタデータ） (2023-07-17T04:08:29Z)
• Achieving Counterfactual Fairness with Imperfect Structural Causal Model [11.108866104714627]
  対実フェアネスのためのミニマックスゲーム理論モデルを提案する。 また,提案したミニマックスモデルの誤差境界を理論的に証明する。 複数の実世界のデータセットに関する実証実験は、正確性と公正性の両方において、私たちの優れたパフォーマンスを示しています。
  論文  参考訳（メタデータ） (2023-03-26T09:37:29Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Fairness-aware Summarization for Justified Decision-Making [16.47665757950391]
  テキストベースニューラルネットワークの正当化における不公平性の問題に焦点をあてる。 本研究では,これらのモデルにおけるバイアスを検出し,対処するための,公平性を考慮した要約機構を提案する。
  論文  参考訳（メタデータ） (2021-07-13T17:04:10Z)
• Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
  あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。 分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
  論文  参考訳（メタデータ） (2020-12-31T07:24:30Z)
• To what extent do human explanations of model behavior align with actual model behavior? [91.67905128825402]
  モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。 自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。 モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
  論文  参考訳（メタデータ） (2020-12-24T17:40:06Z)
• Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction [49.254162397086006]
  画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。 モデル予測の提示により,人間の精度が向上することが判明した。 しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
  論文  参考訳（メタデータ） (2020-07-23T20:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。