論文の概要: The Perspectivist Paradigm Shift: Assumptions and Challenges of Capturing Human Labels

• arxiv url: http://arxiv.org/abs/2405.05860v1
• Date: Thu, 9 May 2024 15:48:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 12:53:04.703165
• Title: The Perspectivist Paradigm Shift: Assumptions and Challenges of Capturing Human Labels
• Title（参考訳）: スペクティビストのパラダイムシフト:人間ラベルの獲得の前提と課題
• Authors: Eve Fleisig, Su Lin Blodgett, Dan Klein, Zeerak Talat,
• Abstract要約: 長く続くデータラベリングのプラクティスには、複数のアノテータからのラベルの収集と集約が含まれる。 新しいパースペクティビストのアプローチは、不一致を貴重な情報源として扱うことによって、この仮定に挑戦する。 我々は、データラベリングパイプラインの推奨と、主観性と不一致に関わる今後の研究への道程を結論付ける。
• 参考スコア（独自算出の注目度）: 44.10325464314817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Longstanding data labeling practices in machine learning involve collecting and aggregating labels from multiple annotators. But what should we do when annotators disagree? Though annotator disagreement has long been seen as a problem to minimize, new perspectivist approaches challenge this assumption by treating disagreement as a valuable source of information. In this position paper, we examine practices and assumptions surrounding the causes of disagreement--some challenged by perspectivist approaches, and some that remain to be addressed--as well as practical and normative challenges for work operating under these assumptions. We conclude with recommendations for the data labeling pipeline and avenues for future research engaging with subjectivity and disagreement.
• Abstract（参考訳）: 機械学習における長年のデータラベリングのプラクティスには、複数のアノテータからのラベルの収集と集約が含まれる。 しかし、アノテーターが同意しなかったらどうするべきか? 注釈人の意見の相違は、長い間、最小化の問題と見なされてきたが、新しいパースペクティビストのアプローチは、意見の相違を貴重な情報源として扱うことによって、この仮定に挑戦している。 本稿では,不一致の原因を取り巻く実践と前提について考察する。その一部はスペクティビスト的アプローチによるものであり,また,これらの前提の下で作業を行う上での実践的で規範的な課題と同様に,対処すべきものである。 我々は、データラベリングパイプラインの推奨と、主観性と不一致に関わる今後の研究への道程を結論付ける。

関連論文リスト

• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• A Survey on Intersectional Fairness in Machine Learning: Notions, Mitigation, and Challenges [11.885166133818819]
  機械学習システムの採用により、公平性への懸念が高まっている。 公平さと緩和の交叉観念に関する分類を提示する。 重要な課題を特定し、今後の方向性に関するガイドラインを研究者に提供する。
  論文  参考訳（メタデータ） (2023-05-11T16:49:22Z)
• SemEval-2023 Task 11: Learning With Disagreements (LeWiDi) [75.85548747729466]
  共有タスクのLeWiDiシリーズの第2版について報告する。 この第2版は幅広い参加者を集め、13のタスクの共用論文が提出された。
  論文  参考訳（メタデータ） (2023-04-28T12:20:35Z)
• The 'Problem' of Human Label Variation: On Ground Truth in Data, Modeling and Evaluation [21.513743126525622]
  我々は、人間のラベルの変動という大きなオープンな問題が持続し、我々の分野を前進させるためには、より注意が必要であると論じている。 我々は、これまで提案された異なるラベルのバリエーションの概念を整理し、公開可能なデータセットのリポジトリを非集約ラベルで提供し、これまで提案されてきたアプローチを描写し、ギャップを識別し、今後の方向性を提案する。
  論文  参考訳（メタデータ） (2022-11-04T16:38:09Z)
• A Survey on Programmatic Weak Supervision [74.13976343129966]
  本稿では、PWS学習パラダイムの簡単な紹介と、各PWS学習ワークフローに対する代表的アプローチのレビューを行う。 この分野の今後の方向性に刺激を与えるために、この分野でまだ探索されていないいくつかの重要な課題を特定します。
  論文  参考訳（メタデータ） (2022-02-11T04:05:38Z)
• Recent Advancements in Self-Supervised Paradigms for Visual Feature Representation [0.41436032949434404]
  教師付き学習は、最先端のパフォーマンスに到達するために大量のラベル付きデータを必要とする。 ラベル付けのコストを回避するため,ラベル付けされていないデータを利用する自己管理手法が提案された。 本研究は,特徴表現のための自己監督パラダイムにおける近年の展開に関する包括的で洞察に富んだ調査と分析を行う。
  論文  参考訳（メタデータ） (2021-11-03T07:02:34Z)
• Agreeing to Disagree: Annotating Offensive Language Datasets with Annotators' Disagreement [7.288480094345606]
  我々は、アノテータ間の合意のレベルに着目し、攻撃的な言語データセットを作成するためにデータを選択する。 本研究は、異なるトピックをカバーする英語ツイートの3つの新しいデータセットを作成することを含む。 合意の低さがあるような難しいケースは、必ずしも品質の悪いアノテーションによるものではないことを示す。
  論文  参考訳（メタデータ） (2021-09-28T08:55:04Z)
• Just Label What You Need: Fine-Grained Active Selection for Perception and Prediction through Partially Labeled Scenes [78.23907801786827]
  提案手法は,コストに配慮した手法と,部分的にラベル付けされたシーンを通じて詳細なサンプル選択を可能にする一般化を導入している。 実世界の大規模自動運転データセットに関する我々の実験は、微粒な選択が知覚、予測、下流計画タスクのパフォーマンスを向上させることを示唆している。
  論文  参考訳（メタデータ） (2021-04-08T17:57:41Z)
• Feedback in Imitation Learning: Confusion on Causality and Covariate Shift [12.93527098342393]
  我々は,過去の行動に対する条件付けが,学習者の「実行」エラーと性能の劇的な相違につながることを論じる。 我々は、模倣学習アプローチをテストするために使用される既存のベンチマークを分析する。 従来の文献とは驚くほど対照的に,行動的クローン化は優れた結果をもたらすことが判明した。
  論文  参考訳（メタデータ） (2021-02-04T20:18:56Z)
• A Commentary on the Unsupervised Learning of Disentangled Representations [63.042651834453544]
  不整合表現の教師なし学習の目標は、データの変化の独立した説明的要因を、監督にアクセスできることなく分離することである。 本稿では,非教師なしの非教師付き表現の学習が帰納的バイアスなしでは基本的に不可能であることを示す理論的結果について議論する。
  論文  参考訳（メタデータ） (2020-07-28T13:13:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。