論文の概要: Comparing Humans and Models on a Similar Scale: Towards Cognitive Gender Bias Evaluation in Coreference Resolution

• arxiv url: http://arxiv.org/abs/2305.15389v1
• Date: Wed, 24 May 2023 17:51:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 13:54:12.282073
• Title: Comparing Humans and Models on a Similar Scale: Towards Cognitive Gender Bias Evaluation in Coreference Resolution
• Title（参考訳）: 同様の尺度で人間とモデルを比較する:共参照分解における認知性バイアス評価に向けて
• Authors: Gili Lior and Gabriel Stanovsky
• Abstract要約: モデルバイアスが人間の行動を反映する程度を定量化できますか? 我々は,2つのクラウドソーシング実験から,男女差の偏差をコアパラメータ分解で観測する。 実世界のデータでは、人間はモデルに比べて性別に偏った決定を$sim$3%多くし、合成データモデルでは$sim$12%の偏りがある。
• 参考スコア（独自算出の注目度）: 11.711298780873468
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Spurious correlations were found to be an important factor explaining model performance in various NLP tasks (e.g., gender or racial artifacts), often considered to be ''shortcuts'' to the actual task. However, humans tend to similarly make quick (and sometimes wrong) predictions based on societal and cognitive presuppositions. In this work we address the question: can we quantify the extent to which model biases reflect human behaviour? Answering this question will help shed light on model performance and provide meaningful comparisons against humans. We approach this question through the lens of the dual-process theory for human decision-making. This theory differentiates between an automatic unconscious (and sometimes biased) ''fast system'' and a ''slow system'', which when triggered may revisit earlier automatic reactions. We make several observations from two crowdsourcing experiments of gender bias in coreference resolution, using self-paced reading to study the ''fast'' system, and question answering to study the ''slow'' system under a constrained time setting. On real-world data humans make $\sim$3\% more gender-biased decisions compared to models, while on synthetic data models are $\sim$12\% more biased.
• Abstract（参考訳）: Spurious correlations is a important factor of model performance in various NLP task(例:性別や人種的アーティファクト)は、しばしば実際のタスクに対して「ショートカット」であると考えられる。 しかし、人間も同様に社会的および認知的前提に基づいて素早く(時には誤った)予測をする傾向がある。 モデルバイアスが人間の行動を反映している程度を定量化できるか? この疑問に答えることは、モデルのパフォーマンスを軽視し、人間と有意義な比較を提供するのに役立つだろう。 我々は、人間の意思決定のための双対過程理論のレンズを通してこの問題にアプローチする。 この理論は、自動無意識の(時にはバイアスのかかる)「高速システム」と「スローシステム」とを区別する。 本研究は,「高速」システム研究のための自己評価読解法と,制約された時間条件下での「遅い」システム研究のための質問応答を用いて,男女バイアスのクラウドソーシング実験を2回行った。 実世界のデータでは、人間はモデルに比べて性別に偏りのある決定を$\sim$3\%、合成データモデルは$\sim$12\%の偏りを持つ。

関連論文リスト

• Longer Fixations, More Computation: Gaze-Guided Recurrent Neural Networks [12.57650361978445]
  人間はさまざまなペースでテキストを読み、機械学習モデルはそれぞれのトークンを同じように扱う。 本稿では,この直感を固定誘導並列RNNやレイヤを用いた新しいモデルに変換する。 興味深いことに、ニューラルネットワークによって予測される固定期間は、人間の固定と多少似ている。
  論文  参考訳（メタデータ） (2023-10-31T21:32:11Z)
• Towards Understanding Sycophancy in Language Models [49.99654432561934]
  人間のフィードバックを利用した微調整を施したモデルにおける梅毒の有病率について検討した。 5つの最先端のAIアシスタントが、4つの異なる自由形式のテキスト生成タスクで常に梅毒を発現していることを示す。 以上の結果から、サイコファンシーは最先端のAIアシスタントの一般的な行動である可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-20T14:46:48Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Less Likely Brainstorming: Using Language Models to Generate Alternative Hypotheses [45.720065723998225]
  我々は、人間が関連性があると思われるが、起こりそうにないアウトプットを生成するためにモデルに要求する新しいタスク「非インブレインストーミング」を導入する。 目標として仮説の可能性が低いトレーニングのベースラインアプローチは、人間がほぼ半分の確率または無関係であると評価するアウトプットを生成する。 そこで本研究では,新たなコントラスト学習手法を用いたテキスト生成手法を提案する。
  論文  参考訳（メタデータ） (2023-05-30T18:05:34Z)
• Spuriosity Rankings: Sorting Data to Measure and Mitigate Biases [62.54519787811138]
  本稿では,突発的手がかりに依存したモデルバイアスを簡易かつ効果的に測定・緩和する手法を提案する。 我々は,解釈可能なネットワークの深部神経的特徴をベースとして,それらのクラス内の画像のランク付けを行う。 以上の結果から,素早い特徴依存によるモデルバイアスは,モデルがどのようにトレーニングされたかよりも,モデルがトレーニングされていることの影響がはるかに大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-05T23:15:43Z)
• Does Debiasing Inevitably Degrade the Model Performance [8.20550078248207]
  本稿では、言語モデルの性バイアスの3つの候補メカニズムを説明する理論的枠組みを提案する。 また、デバイアスがモデル性能を劣化させない経路も発見する。
  論文  参考訳（メタデータ） (2022-11-14T13:46:13Z)
• Learning Sample Importance for Cross-Scenario Video Temporal Grounding [30.82619216537177]
  本稿では,時間的接地作業に特有の表面バイアスについて検討する。 そこで本研究では,Debiased Temporal Language Localizer (DebiasTLL) と呼ばれる新しい手法を提案する。 我々は、列車/テストデータが均一にソースされるクロスセサリオ時間的グラウンドリングにおいて、提案モデルを評価する。
  論文  参考訳（メタデータ） (2022-01-08T15:41:38Z)
• Indecision Modeling [50.00689136829134]
  AIシステムは人間の価値観に合わせて行動することが重要である。 人々はしばしば決定的ではなく、特に彼らの決定が道徳的な意味を持つときです。
  論文  参考訳（メタデータ） (2020-12-15T18:32:37Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)
• Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction [49.254162397086006]
  画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。 モデル予測の提示により,人間の精度が向上することが判明した。 しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
  論文  参考訳（メタデータ） (2020-07-23T20:39:40Z)
• PsychFM: Predicting your next gamble [0.0]
  人間の行動そのものは選択予測問題にモデル化できる。 行動は個人に依存しているため、個人ごとに選択を予測するモデルを構築する必要がある。 機械学習や心理学理論といった概念を取り入れた,新たなハイブリッドモデル「サイコFM」が提案されている。
  論文  参考訳（メタデータ） (2020-07-03T17:41:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。