論文の概要: Cascading Biases: Investigating the Effect of Heuristic Annotation Strategies on Data and Models

• arxiv url: http://arxiv.org/abs/2210.13439v1
• Date: Mon, 24 Oct 2022 17:52:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 17:03:16.825468
• Title: Cascading Biases: Investigating the Effect of Heuristic Annotation Strategies on Data and Models
• Title（参考訳）: Cascading Biases: Heuristic Annotation Strategies がデータとモデルに与える影響を探る
• Authors: Chaitanya Malaviya, Sudeep Bhatia, Mark Yatskar
• Abstract要約: 複数字読解の文脈における認知的使用について検討した。 我々は、アノテータが、心理学的テストのバッテリーの痕跡に基づいて、複数のそのようなものを使っているかもしれないという証拠を発見した。 この結果から,アノテータ間での使用状況の追跡は,難解なデータセットの収集やモデルのバイアスの診断に役立つ可能性が示唆された。
• 参考スコア（独自算出の注目度）: 15.304008127138717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cognitive psychologists have documented that humans use cognitive heuristics, or mental shortcuts, to make quick decisions while expending less effort. While performing annotation work on crowdsourcing platforms, we hypothesize that such heuristic use among annotators cascades on to data quality and model robustness. In this work, we study cognitive heuristic use in the context of annotating multiple-choice reading comprehension datasets. We propose tracking annotator heuristic traces, where we tangibly measure low-effort annotation strategies that could indicate usage of various cognitive heuristics. We find evidence that annotators might be using multiple such heuristics, based on correlations with a battery of psychological tests. Importantly, heuristic use among annotators determines data quality along several dimensions: (1) known biased models, such as partial input models, more easily solve examples authored by annotators that rate highly on heuristic use, (2) models trained on annotators scoring highly on heuristic use don't generalize as well, and (3) heuristic-seeking annotators tend to create qualitatively less challenging examples. Our findings suggest that tracking heuristic usage among annotators can potentially help with collecting challenging datasets and diagnosing model biases.
• Abstract（参考訳）: 認知心理学者は、人間が認知的ヒューリスティック(精神的なショートカット)を使用して、より少ない努力をしながら迅速な意思決定を行うことを文書化している。 クラウドソーシングプラットフォーム上でアノテーション処理を行う際,アノテーション間のヒューリスティックな使用がデータ品質とモデルのロバスト性にカスケードする,と仮定する。 本研究では,複数字読解データセットの注釈付けにおける認知ヒューリスティック使用について検討する。 そこで我々は,様々な認知的ヒューリスティックスの使用を示す低便宜的アノテーション戦略を明示的に測定する,アノテータヒューリスティックトレースの追跡を提案する。 我々は、アノテータが複数のヒューリスティックスを使用しているという証拠を、心理学的テストのバッテリーとの相関に基づいて発見した。 重要なことに、アノテータ間のヒューリスティックな使用は、データ品質をいくつかの次元に沿って決定する:(1) 部分的な入力モデルのような既知のバイアス付きモデルにより、ヒューリスティックな使用率が高いアノテータによって記述された例をより容易に解決し、(2) ヒューリスティックな使用率が高いアノテータで訓練されたモデルは、一般化しない。 その結果,アノテータ間のヒューリスティックな使用状況の追跡は,難解なデータセットの収集やモデルのバイアスの診断に役立つ可能性が示唆された。

関連論文リスト

• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Multi-annotator Deep Learning: A Probabilistic Framework for Classification [2.445702550853822]
  標準的なディープニューラルネットワークのトレーニングは、マルチアノテーションによる教師付き学習設定におけるサブパーパフォーマンスにつながる。 マルチアノテーション深層学習(MaDL)という確率的学習フレームワークを提案することでこの問題に対処する。 モジュラーネットワークアーキテクチャは、アノテータのパフォーマンスに関する様々な仮定を可能にする。 以上の結果から,MADLの最先端性能と,関連性のあるスパムアノテータに対する堅牢性が確認された。
  論文  参考訳（メタデータ） (2023-04-05T16:00:42Z)
• Less Learn Shortcut: Analyzing and Mitigating Learning of Spurious Feature-Label Correlation [44.319739489968164]
  ディープニューラルネットワークは、タスクを理解するのではなく、意思決定をするためのショートカットとしてデータセットバイアスを取ることが多い。 本研究では,モデルがバイアスデータ分布から学習する単語特徴とラベルとの素早い相関に着目した。 本手法は, 偏りのある例と下級者の偏り度を定量的に評価する学習戦略である。
  論文  参考訳（メタデータ） (2022-05-25T09:08:35Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Disjoint Contrastive Regression Learning for Multi-Sourced Annotations [10.159313152511919]
  大規模データセットはディープラーニングモデルの開発に重要である。 複数のアノテータを使用して、データの異なるサブセットをラベル付けすることができる。 異なるアノテータ間の矛盾とバイアスはモデルトレーニングに有害である。
  論文  参考訳（メタデータ） (2021-12-31T12:39:04Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• Statistical discrimination in learning agents [64.78141757063142]
  統計的差別は、訓練人口のバイアスとエージェントアーキテクチャの両方の関数としてエージェントポリシーに現れる。 我々は、リカレントニューラルネットワークを使用するエージェントによる差別の低減と、トレーニング環境のバイアスの低減が示される。
  論文  参考訳（メタデータ） (2021-10-21T18:28:57Z)
• Interactive Weak Supervision: Learning Useful Heuristics for Data Labeling [19.24454872492008]
  弱監督は、基礎的な真理ラベルなしでラベル付きデータセットを作成するための有望な代替手段を提供する。 本稿では,対話型弱監督のための最初のフレームワークを開発し,その手法が反復を提案し,ユーザフィードバックから学習する。 私たちの実験は、非常に競争力のあるテストセット性能を達成するモデルのトレーニングに少数のフィードバックが必要であることを示しています。
  論文  参考訳（メタデータ） (2020-12-11T00:10:38Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。