論文の概要: End-to-End Annotator Bias Approximation on Crowdsourced Single-Label Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2111.02326v1
• Date: Wed, 3 Nov 2021 16:20:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-04 15:11:53.169337
• Title: End-to-End Annotator Bias Approximation on Crowdsourced Single-Label Sentiment Analysis
• Title（参考訳）: クラウドソーシング単一ラベル感性解析におけるエンド・ツー・エンドアノテータバイアス近似
• Authors: Gerhard Hagerer, David Szabo, Andreas Koch, Maria Luisa Ripoll Dominguez, Christian Widmer, Maximilian Wich, Hannah Danner, Georg Groh
• Abstract要約: 感性分析は、多くのアノテータから与えられた主観的なラベルをクラウドソーシングする作業であることが多い。 それぞれのアノテータのアノテーションバイアスがいかにして最先端の手法で正しくモデル化できるかは、まだ完全には分かっていない。 我々の貢献は、正確な神経終末バイアスモデリングと基底真理推定のための説明と改善である。
• 参考スコア（独自算出の注目度）: 2.044846935473423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentiment analysis is often a crowdsourcing task prone to subjective labels given by many annotators. It is not yet fully understood how the annotation bias of each annotator can be modeled correctly with state-of-the-art methods. However, resolving annotator bias precisely and reliably is the key to understand annotators' labeling behavior and to successfully resolve corresponding individual misconceptions and wrongdoings regarding the annotation task. Our contribution is an explanation and improvement for precise neural end-to-end bias modeling and ground truth estimation, which reduces an undesired mismatch in that regard of the existing state-of-the-art. Classification experiments show that it has potential to improve accuracy in cases where each sample is annotated only by one single annotator. We provide the whole source code publicly and release an own domain-specific sentiment dataset containing 10,000 sentences discussing organic food products. These are crawled from social media and are singly labeled by 10 non-expert annotators.
• Abstract（参考訳）: 感性分析は、多くのアノテータから与えられた主観的なラベルをクラウドソーシングする作業であることが多い。 各アノテータのアノテーションバイアスがいかにして最先端の手法で正しくモデル化できるかは、まだ完全には分かっていない。 しかしながら、アノテーションのバイアスを正確かつ確実に解決することは、アノテーションのラベリング動作を理解し、アノテーションタスクに関する個々の誤解や不正をうまく解決するための鍵となる。 私たちの貢献は、正確なニューラル・エンド・ツー・エンドのバイアスモデリングと基底的真理推定のための説明と改善であり、既存の最先端に関して望ましくないミスマッチを低減します。 分類実験により、各サンプルが1つのアノテータでアノテートされた場合にのみ精度が向上する可能性が示された。 我々は、ソースコード全体を公開し、有機食品に関する1万文を含む独自のドメイン固有の感情データセットをリリースする。 これらはソーシャルメディアからクロールされ、10人の専門家以外のアノテータによって単独でラベル付けされる。

関連論文リスト

• Evaluating the Factuality of Zero-shot Summarizers Across Varied Domains [60.5207173547769]
  バイオメディカル・アーティクルや法定請求書を含む専門分野におけるゼロショット生成サマリーを評価した。 ドメインの専門家からアノテーションを取得し、要約の不整合を識別し、これらのエラーを体系的に分類する。 収集したすべてのアノテーションを公開し、ニュース記事を超えて、事実的に正確な要約を計測および実現するためのさらなる研究を促進する。
  論文  参考訳（メタデータ） (2024-02-05T20:51:11Z)
• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
  監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。 毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。 本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:18:32Z)
• Probabilistic Test-Time Generalization by Variational Neighbor-Labeling [62.158807685159736]
  本稿では、ドメインの一般化を試み、モデルが未確認のターゲットドメインにデプロイされる前に、ソースドメインにのみトレーニングされる。 ソーストレーニングされたモデルをテスト時にターゲットドメインに一般化するための、ターゲットサンプルの擬似ラベル化の確率。 より堅牢な擬似ラベルを生成するために、近隣のターゲットサンプルの情報を含む変分隣接ラベル。
  論文  参考訳（メタデータ） (2023-07-08T18:58:08Z)
• SeedBERT: Recovering Annotator Rating Distributions from an Aggregated Label [43.23903984174963]
  単一ラベルからアノテータ評価分布を復元するSeedBERTを提案する。 人間の評価は,SeedBERTの注意機構がアノテータの不一致の原因と一致していることを示している。
  論文  参考訳（メタデータ） (2022-11-23T18:35:15Z)
• Utilizing supervised models to infer consensus labels and their quality from data with multiple annotators [16.79939549201032]
  分類のための実世界のデータは、しばしば複数のアノテータによってラベル付けされる。 このようなデータを推定するための簡単なアプローチであるCROWDLABを紹介します。 提案手法は,(1)-(3)に対して,多くの代替アルゴリズムよりも優れた推定値を提供する。
  論文  参考訳（メタデータ） (2022-10-13T07:54:07Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Dealing with Disagreements: Looking Beyond the Majority Vote in Subjective Annotations [6.546195629698355]
  主観的タスクに対するマルチアノテータモデルの有効性について検討する。 このアプローチは、トレーニング前にラベルをアグリゲートするよりも、同じまたは良いパフォーマンスが得られることを示す。 提案手法は予測の不確かさを推定する手段も提供し,従来の手法よりもアノテーションの不一致との相関が良好であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T03:12:34Z)
• Learning from Crowds with Sparse and Imbalanced Annotations [29.596070201105274]
  クラウドソーシングは、非専門家の群衆を頼りにすることで、効率的なラベリングソリューションとして自らを確立した。 一般的には、各インスタンスを複数のワーカに配布するが、各ワーカはデータのサブセットのみをアノテートする。 本稿では、自信ある擬似アノテーションを段階的に追加し、アノテーション分布を再バランスさせることにより、自己学習に基づく1つのアプローチ、Self-Crowdを提案する。
  論文  参考訳（メタデータ） (2021-07-11T13:06:20Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)
• One-bit Supervision for Image Classification [121.87598671087494]
  1ビットの監視は、不完全なアノテーションから学ぶための新しい設定である。 負ラベル抑圧を既成の半教師付き学習アルゴリズムに組み込んだ多段階学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-09-14T03:06:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。