論文の概要: On Releasing Annotator-Level Labels and Information in Datasets

• arxiv url: http://arxiv.org/abs/2110.05699v1
• Date: Tue, 12 Oct 2021 02:35:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 01:51:19.685562
• Title: On Releasing Annotator-Level Labels and Information in Datasets
• Title（参考訳）: データセットにおけるアノテータレベルラベルと情報のリリースについて
• Authors: Vinodkumar Prabhakaran, Aida Mostafazadeh Davani, Mark D\'iaz
• Abstract要約: ラベルアグリゲーションは,個人的視点とグループ的視点の表現バイアスをもたらす可能性があることを示す。 下流のユースケースに対するデータセットの有用性と透明性を高めるための推奨事項を提案する。
• 参考スコア（独自算出の注目度）: 6.546195629698355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A common practice in building NLP datasets, especially using crowd-sourced annotations, involves obtaining multiple annotator judgements on the same data instances, which are then flattened to produce a single "ground truth" label or score, through majority voting, averaging, or adjudication. While these approaches may be appropriate in certain annotation tasks, such aggregations overlook the socially constructed nature of human perceptions that annotations for relatively more subjective tasks are meant to capture. In particular, systematic disagreements between annotators owing to their socio-cultural backgrounds and/or lived experiences are often obfuscated through such aggregations. In this paper, we empirically demonstrate that label aggregation may introduce representational biases of individual and group perspectives. Based on this finding, we propose a set of recommendations for increased utility and transparency of datasets for downstream use cases.
• Abstract（参考訳）: NLPデータセットの構築における一般的なプラクティスは、特にクラウドソースのアノテーションを使用して、同じデータインスタンス上で複数のアノテータ判断を取得し、多数決、平均化、あるいは偏見を通じて、単一の"地上真実"ラベルまたはスコアを生成するようにフラット化される。 これらのアプローチは特定のアノテーションタスクに適しているが、そのような集約は、より主観的なタスクに対するアノテーションがキャプチャーすることを意図した、社会的に構築された人間の知覚の性質を見落としている。 特に、社会文化的背景や生活経験による注釈者間の系統的不一致は、しばしばそのような集約によって無視される。 本稿では,ラベルアグリゲーションが個人およびグループ視点の表現バイアスをもたらすことを実証的に示す。 この発見に基づいて、下流のユースケースに対するデータセットの有用性と透明性を高めるための一連の勧告を提案する。

関連論文リスト

• Annotator in the Loop: A Case Study of In-Depth Rater Engagement to Create a Bridging Benchmark Dataset [1.825224193230824]
  本稿では,アノテーションのための新規かつ協調的かつ反復的なアノテーション手法について述べる。 以上の結果から,アノテータとの連携によりアノテーションの手法が強化されることが示唆された。
  論文  参考訳（メタデータ） (2024-08-01T19:11:08Z)
• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
  監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。 毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。 本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:18:32Z)
• Modeling Entities as Semantic Points for Visual Information Extraction in the Wild [55.91783742370978]
  文書画像から鍵情報を正確かつ堅牢に抽出する手法を提案する。 我々は、エンティティを意味的ポイントとして明示的にモデル化する。つまり、エンティティの中心点は、異なるエンティティの属性と関係を記述する意味情報によって豊かになる。 提案手法は,従来の最先端モデルと比較して,エンティティラベルとリンクの性能を著しく向上させることができる。
  論文  参考訳（メタデータ） (2023-03-23T08:21:16Z)
• Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
  我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
  論文  参考訳（メタデータ） (2022-04-10T02:27:30Z)
• Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
  入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く 本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。 グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T22:04:48Z)
• Perceptual Score: What Data Modalities Does Your Model Perceive? [73.75255606437808]
  モデルが入力特徴の異なる部分集合に依存する度合いを評価する指標である知覚スコアを導入する。 近年,視覚的質問応答に対するマルチモーダルモデルでは,前者よりも視覚的データを知覚しにくい傾向がみられた。 知覚スコアを使用することで、スコアをデータサブセットのコントリビューションに分解することで、モデルのバイアスを分析することもできる。
  論文  参考訳（メタデータ） (2021-10-27T12:19:56Z)
• Dealing with Disagreements: Looking Beyond the Majority Vote in Subjective Annotations [6.546195629698355]
  主観的タスクに対するマルチアノテータモデルの有効性について検討する。 このアプローチは、トレーニング前にラベルをアグリゲートするよりも、同じまたは良いパフォーマンスが得られることを示す。 提案手法は予測の不確かさを推定する手段も提供し,従来の手法よりもアノテーションの不一致との相関が良好であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T03:12:34Z)
• Joint Representation Learning and Novel Category Discovery on Single- and Multi-modal Data [16.138075558585516]
  信頼性の高い表現を共同学習し、ラベルなしのデータにクラスタを割り当てる汎用的なエンドツーエンドフレームワークを提案する。 我々は共有表現空間にウィナーテイクオール(wta)ハッシュアルゴリズムを採用し,ラベルなしデータに対してペアワイズ擬似ラベルを生成する。 大規模マルチモーダルビデオベンチマークKinetics-400およびVGG-Sound、および画像ベンチマークCIFAR10、CIFAR100およびImageNetに関するフレームワークを徹底的に評価します。
  論文  参考訳（メタデータ） (2021-04-26T15:56:16Z)
• Bayesian Semi-supervised Crowdsourcing [71.20185379303479]
  クラウドソーシングは、大規模なデータセットを効率的にラベル付けし、さまざまな学習タスクを実行するための強力なパラダイムとして登場した。 この研究は、半スーパービジョンの2つの体制の下で、半教師付きクラウドソース分類を扱う。
  論文  参考訳（メタデータ） (2020-12-20T23:18:51Z)
• Contrastive Examples for Addressing the Tyranny of the Majority [83.93825214500131]
  我々は,グループメンバーシップを介在する,オリジナルのデータセットと新たなデータポイントからなるバランスの取れたトレーニングデータセットを作成することを提案する。 コントラッシブ・サンプル(英語版)と呼ばれるこれらのデータポイントを学習するための強力なツールとして、現在の生成的敵ネットワークが重要であることを示す。
  論文  参考訳（メタデータ） (2020-04-14T14:06:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。