論文の概要: The Ecological Fallacy in Annotation: Modelling Human Label Variation goes beyond Sociodemographics

• arxiv url: http://arxiv.org/abs/2306.11559v1
• Date: Tue, 20 Jun 2023 14:23:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 14:06:37.060391
• Title: The Ecological Fallacy in Annotation: Modelling Human Label Variation goes beyond Sociodemographics
• Title（参考訳）: 注釈における生態的誤り--人間のラベル変動のモデル化はソシオドモグラフィーを超えて
• Authors: Matthias Orlikowski (1), Paul R\"ottger (2), Philipp Cimiano (1), Dirk Hovy (3) ((1) Bielefeld University, (2) University of Oxford, (3) Computing Sciences Department, Bocconi University, Milan, Italy)
• Abstract要約: 近年の研究は、集約ラベルを予測するのではなく、個々のアノテータの振る舞いをモデル化することを目的としている。 社会デマトグラフィーを考慮に入れたマルチアノテーションモデルにグループ固有のレイヤーを導入する。 この結果は、個々のアノテーションの振る舞いが単なる社会デマトグラフィー以上のものに依存していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Many NLP tasks exhibit human label variation, where different annotators give different labels to the same texts. This variation is known to depend, at least in part, on the sociodemographics of annotators. Recent research aims to model individual annotator behaviour rather than predicting aggregated labels, and we would expect that sociodemographic information is useful for these models. On the other hand, the ecological fallacy states that aggregate group behaviour, such as the behaviour of the average female annotator, does not necessarily explain individual behaviour. To account for sociodemographics in models of individual annotator behaviour, we introduce group-specific layers to multi-annotator models. In a series of experiments for toxic content detection, we find that explicitly accounting for sociodemographic attributes in this way does not significantly improve model performance. This result shows that individual annotation behaviour depends on much more than just sociodemographics.
• Abstract（参考訳）: 多くのNLPタスクは、異なるアノテータが同じテキストに異なるラベルを与える、人間のラベルのバリエーションを示す。 この変異は、少なくとも部分的には、アノテーターの社会デマトグラフィーに依存することが知られている。 近年の研究では,集計ラベルを予測するのではなく,個々のアノテータの振る舞いをモデル化することを目的としている。 一方、生態学的誤りは、平均的な女性アノテータの振る舞いのような集団の行動が必ずしも個々の行動を説明するとは限らないことを述べている。 個々のアノテータ行動モデルにおける社会デマトグラフィーを考慮に入れ,マルチアノテータモデルにグループ固有の層を導入する。 有害なコンテンツ検出のための一連の実験において、このような社会デマログラフィー属性を明示的に説明することは、モデル性能を著しく改善しないことがわかった。 この結果は、個々のアノテーション行動が単なる社会デモグラフィ以上のものに依存していることを示している。

関連論文リスト

• CAGE: Circumplex Affect Guided Expression Inference [9.108319009019912]
  本稿では,2つの共通データセット (AffectNet と EMOTIC) に対して,感情の概略モデルの構成要素を具備した詳細な分析を行った。 本稿では,軽量アプリケーションに適した表情予測モデルを提案する。
  論文  参考訳（メタデータ） (2024-04-23T12:30:17Z)
• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
  監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。 毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。 本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:18:32Z)
• Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting [64.80538055623842]
  社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T15:42:06Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Self-similarity Driven Scale-invariant Learning for Weakly Supervised Person Search [66.95134080902717]
  自己相似性駆動型スケール不変学習(SSL)という新しいワンステップフレームワークを提案する。 本稿では,ネットワークを前景と学習スケール不変の機能に集中させるための,マルチスケール・エクステンプラー・ブランチを提案する。 PRWおよびCUHK-SYSUデータベースの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-25T04:48:11Z)
• Learning signatures of decision making from many individuals playing the same game [54.33783158658077]
  我々は、個人の「行動スタイル」を符号化する表現を学習する予測フレームワークを設計する。 我々は,3本腕のバンディットタスクを行う1,000人の人間による大規模行動データセットに本手法を適用した。
  論文  参考訳（メタデータ） (2023-02-21T21:41:53Z)
• Auditing Gender Presentation Differences in Text-to-Image Models [54.16959473093973]
  我々は、テキスト・ツー・イメージ・モデルにおいて、ジェンダーがどのように異なる形で提示されるかを研究する。 入力テキスト中の性指標を探索することにより、プレゼンテーション中心属性の周波数差を定量化する。 このような違いを推定する自動手法を提案する。
  論文  参考訳（メタデータ） (2023-02-07T18:52:22Z)
• SeedBERT: Recovering Annotator Rating Distributions from an Aggregated Label [43.23903984174963]
  単一ラベルからアノテータ評価分布を復元するSeedBERTを提案する。 人間の評価は,SeedBERTの注意機構がアノテータの不一致の原因と一致していることを示している。
  論文  参考訳（メタデータ） (2022-11-23T18:35:15Z)
• Incorporating Heterogeneous User Behaviors and Social Influences for Predictive Analysis [32.31161268928372]
  我々は,行動予測に異質なユーザ行動と社会的影響を取り入れることを目指している。 本稿では,行動シーケンスのコンテキストを考慮したLong-Short Term Memory (LSTM)を提案する。 残差学習に基づくデコーダは、社会的行動表現に基づいて、複数の高次クロス機能を自動的に構築するように設計されている。
  論文  参考訳（メタデータ） (2022-07-24T17:05:37Z)
• The Curious Case of Control [37.28245521206576]
  子どもたちは、ほぼ順調な能力に到達した後でも、主観的制御文に対して体系的な誤りを犯す。 モデルが行動によって3つのグループに分類できることがわかった。 エージェントと患者の関係性を高めることで、ほとんどのモデルのアウトプットに顕著な変化が生じることが判明した。
  論文  参考訳（メタデータ） (2022-05-24T14:45:16Z)
• Estimating Structural Disparities for Face Models [54.062512989859265]
  機械学習では、異なるサブ人口間でのモデルの性能や結果の差を測定することで、しばしば異質度の測定が定義される。 本研究では、人間の顔に訓練されたコンピュータビジョンモデルや、顔属性予測や影響推定などのタスクについて、そのような分析を行う。
  論文  参考訳（メタデータ） (2022-04-13T05:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。