論文の概要: Loss Modeling for Multi-Annotator Datasets

• arxiv url: http://arxiv.org/abs/2311.00619v2
• Date: Thu, 16 Nov 2023 05:31:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 22:23:31.436589
• Title: Loss Modeling for Multi-Annotator Datasets
• Title（参考訳）: マルチアノテータデータセットの損失モデリング
• Authors: Uthman Jinadu, Jesse Annan, Shanshan Wen, Yi Ding
• Abstract要約: マルチタスク学習を利用して,多様な意見のより正確な表現を学習することを提案する。 新規な定式化を用いることで、アノテーションの同意と同意の相違をきれいに分離できることを示す。 この修正により、単一または複数アノテーション設定での予測性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 2.5832043241251337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accounting for the opinions of all annotators of a dataset is critical for fairness. However, when annotating large datasets, individual annotators will frequently provide thousands of ratings which can lead to fatigue. Additionally, these annotation processes can occur over multiple days which can lead to an inaccurate representation of an annotator's opinion over time. To combat this, we propose to learn a more accurate representation of diverse opinions by utilizing multitask learning in conjunction with loss-based label correction. We show that using our novel formulation, we can cleanly separate agreeing and disagreeing annotations. Furthermore, we demonstrate that this modification can improve prediction performance in a single or multi-annotator setting. Lastly, we show that this method remains robust to additional label noise that is applied to subjective data.
• Abstract（参考訳）: データセットのすべてのアノテータの意見に対する説明は公平性に不可欠である。 しかし、大規模なデータセットをアノテートする場合、個々のアノテータは、疲労につながる可能性のある数千のレーティングを頻繁に提供します。 さらに、これらのアノテーションプロセスは数日にわたって起こり、時間とともにアノテーションの意見の不正確な表現につながる可能性がある。 そこで本研究では,マルチタスク学習と損失に基づくラベル修正を併用することで,多様な意見のより正確な表現を実現することを提案する。 新規な定式化を用いることで、アノテーションの同意と反対をきれいに分離できることを示す。 さらに,この修正により,単一または複数アノテーション設定での予測性能が向上することを示す。 最後に,本手法は主観的データに適用されるラベルノイズに対して頑健であることを示す。

関連論文リスト

• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
  監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。 毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。 本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:18:32Z)
• Do You Remember? Overcoming Catastrophic Forgetting for Fake Audio Detection [54.20974251478516]
  本稿では,破滅的な忘れを克服するために,偽音声検出のための連続学習アルゴリズムを提案する。 検出ネットワークを微調整する場合,本手法では,真の発話と偽発話の比率に応じて,重み付けの方向を適応的に計算する。 本手法は,音声の感情認識などの関連分野に容易に一般化できる。
  論文  参考訳（メタデータ） (2023-08-07T05:05:49Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• Disjoint Contrastive Regression Learning for Multi-Sourced Annotations [10.159313152511919]
  大規模データセットはディープラーニングモデルの開発に重要である。 複数のアノテータを使用して、データの異なるサブセットをラベル付けすることができる。 異なるアノテータ間の矛盾とバイアスはモデルトレーニングに有害である。
  論文  参考訳（メタデータ） (2021-12-31T12:39:04Z)
• Noisy Annotation Refinement for Object Detection [47.066070566714984]
  本稿では,クラスラベルとバウンディングボックスのアノテーションの絡み合った雑音を持つデータセット上でオブジェクト検出器を訓練する新たな問題設定を提案する。 提案手法は, 絡み合った雑音を効率よく分離し, ノイズを補正し, 修正したアノテーションを用いて検出器を訓練する。
  論文  参考訳（メタデータ） (2021-10-20T09:39:50Z)
• Dealing with Disagreements: Looking Beyond the Majority Vote in Subjective Annotations [6.546195629698355]
  主観的タスクに対するマルチアノテータモデルの有効性について検討する。 このアプローチは、トレーニング前にラベルをアグリゲートするよりも、同じまたは良いパフォーマンスが得られることを示す。 提案手法は予測の不確かさを推定する手段も提供し,従来の手法よりもアノテーションの不一致との相関が良好であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T03:12:34Z)
• CrowdTeacher: Robust Co-teaching with Noisy Answers & Sample-specific Perturbations for Tabular Data [8.276156981100364]
  コティーチング手法は、ノイズの多いラベルによるコンピュータビジョン問題に対する有望な改善を示している。 我々のモデルであるcrowdteacherは、入力空間モデルのロバスト性がノイズラベルの分類器の摂動を改善することができるという考えを採用している。 合成データと実データの両方でCrowdTeacherを用いて予測能力の向上を示す。
  論文  参考訳（メタデータ） (2021-03-31T15:09:38Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。