論文の概要: Comparing Humans and Models on a Similar Scale: Towards Cognitive Gender Bias Evaluation in Coreference Resolution

• arxiv url: http://arxiv.org/abs/2305.15389v1
• Date: Wed, 24 May 2023 17:51:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 13:54:12.282073
• Title: Comparing Humans and Models on a Similar Scale: Towards Cognitive Gender Bias Evaluation in Coreference Resolution
• Title（参考訳）: 同様の尺度で人間とモデルを比較する:共参照分解における認知性バイアス評価に向けて
• Authors: Gili Lior and Gabriel Stanovsky
• Abstract要約: モデルバイアスが人間の行動を反映する程度を定量化できますか? 我々は,2つのクラウドソーシング実験から,男女差の偏差をコアパラメータ分解で観測する。 実世界のデータでは、人間はモデルに比べて性別に偏った決定を$sim$3%多くし、合成データモデルでは$sim$12%の偏りがある。
• 参考スコア（独自算出の注目度）: 11.711298780873468
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Spurious correlations were found to be an important factor explaining model performance in various NLP tasks (e.g., gender or racial artifacts), often considered to be ''shortcuts'' to the actual task. However, humans tend to similarly make quick (and sometimes wrong) predictions based on societal and cognitive presuppositions. In this work we address the question: can we quantify the extent to which model biases reflect human behaviour? Answering this question will help shed light on model performance and provide meaningful comparisons against humans. We approach this question through the lens of the dual-process theory for human decision-making. This theory differentiates between an automatic unconscious (and sometimes biased) ''fast system'' and a ''slow system'', which when triggered may revisit earlier automatic reactions. We make several observations from two crowdsourcing experiments of gender bias in coreference resolution, using self-paced reading to study the ''fast'' system, and question answering to study the ''slow'' system under a constrained time setting. On real-world data humans make $\sim$3\% more gender-biased decisions compared to models, while on synthetic data models are $\sim$12\% more biased.
• Abstract（参考訳）: Spurious correlations is a important factor of model performance in various NLP task(例:性別や人種的アーティファクト)は、しばしば実際のタスクに対して「ショートカット」であると考えられる。 しかし、人間も同様に社会的および認知的前提に基づいて素早く(時には誤った)予測をする傾向がある。 モデルバイアスが人間の行動を反映している程度を定量化できるか? この疑問に答えることは、モデルのパフォーマンスを軽視し、人間と有意義な比較を提供するのに役立つだろう。 我々は、人間の意思決定のための双対過程理論のレンズを通してこの問題にアプローチする。 この理論は、自動無意識の(時にはバイアスのかかる)「高速システム」と「スローシステム」とを区別する。 本研究は,「高速」システム研究のための自己評価読解法と,制約された時間条件下での「遅い」システム研究のための質問応答を用いて,男女バイアスのクラウドソーシング実験を2回行った。 実世界のデータでは、人間はモデルに比べて性別に偏りのある決定を$\sim$3\%、合成データモデルは$\sim$12\%の偏りを持つ。

関連論文リスト

• Learning signatures of decision making from many individuals playing the same game [54.33783158658077]
  我々は、個人の「行動スタイル」を符号化する表現を学習する予測フレームワークを設計する。 我々は,3本腕のバンディットタスクを行う1,000人の人間による大規模行動データセットに本手法を適用した。
  論文  参考訳（メタデータ） (2023-02-21T21:41:53Z)
• Modeling human road crossing decisions as reward maximization with visual perception limitations [23.561752465516047]
  我々は,計算的合理性に基づく歩行者横断決定のモデルを開発する。 提案した認知-RLモデルは、ギャップ受容と交差開始時間の人間的なパターンをキャプチャする。 以上の結果から,これは人間の知覚的限界に対する合理的適応である可能性が示唆された。
  論文  参考訳（メタデータ） (2023-01-27T14:20:35Z)
• Does Debiasing Inevitably Degrade the Model Performance [8.20550078248207]
  本稿では、言語モデルの性バイアスの3つの候補メカニズムを説明する理論的枠組みを提案する。 また、デバイアスがモデル性能を劣化させない経路も発見する。
  論文  参考訳（メタデータ） (2022-11-14T13:46:13Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Learning Sample Importance for Cross-Scenario Video Temporal Grounding [30.82619216537177]
  本稿では,時間的接地作業に特有の表面バイアスについて検討する。 そこで本研究では,Debiased Temporal Language Localizer (DebiasTLL) と呼ばれる新しい手法を提案する。 我々は、列車/テストデータが均一にソースされるクロスセサリオ時間的グラウンドリングにおいて、提案モデルを評価する。
  論文  参考訳（メタデータ） (2022-01-08T15:41:38Z)
• Dissonance Between Human and Machine Understanding [16.32018730049208]
  本稿では,人間と機械の理解との不協和を解明し,定量化する大規模クラウドソーシング研究を行う。 私たちの発見は、人工知能の分野における長期的な目標は、人間のように学習し推論できる機械を作ることであると考え、人間と機械のコラボレーションに重要な意味を持つ。
  論文  参考訳（メタデータ） (2021-01-18T21:45:35Z)
• Indecision Modeling [50.00689136829134]
  AIシステムは人間の価値観に合わせて行動することが重要である。 人々はしばしば決定的ではなく、特に彼らの決定が道徳的な意味を持つときです。
  論文  参考訳（メタデータ） (2020-12-15T18:32:37Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)
• Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction [49.254162397086006]
  画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。 モデル予測の提示により,人間の精度が向上することが判明した。 しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
  論文  参考訳（メタデータ） (2020-07-23T20:39:40Z)
• PsychFM: Predicting your next gamble [0.0]
  人間の行動そのものは選択予測問題にモデル化できる。 行動は個人に依存しているため、個人ごとに選択を予測するモデルを構築する必要がある。 機械学習や心理学理論といった概念を取り入れた,新たなハイブリッドモデル「サイコFM」が提案されている。
  論文  参考訳（メタデータ） (2020-07-03T17:41:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。