論文の概要: In Search of Ambiguity: A Three-Stage Workflow Design to Clarify Annotation Guidelines for Crowd Workers

• arxiv url: http://arxiv.org/abs/2112.02255v1
• Date: Sat, 4 Dec 2021 05:53:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 17:37:44.832149
• Title: In Search of Ambiguity: A Three-Stage Workflow Design to Clarify Annotation Guidelines for Crowd Workers
• Title（参考訳）: あいまいさを求めて:クラウドワーカーのアノテーションガイドラインを明確にするための3段階ワークフローデザイン
• Authors: Vivek Krishna Pradhan, Mike Schaekermann, Matthew Lease
• Abstract要約: クラウドソースアノテーションのための新しい3段階FIND-RESOLVE-LABELワークフローを提案する。 本稿では,AmazonのMechanical Turkを用いた6つのタスクデザインに対する画像ラベリング実験について報告する。
• 参考スコア（独自算出の注目度）: 8.379286663107845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel three-stage FIND-RESOLVE-LABEL workflow for crowdsourced annotation to reduce ambiguity in task instructions and thus improve annotation quality. Stage 1 (FIND) asks the crowd to find examples whose correct label seems ambiguous given task instructions. Workers are also asked to provide a short tag which describes the ambiguous concept embodied by the specific instance found. We compare collaborative vs. non-collaborative designs for this stage. In Stage 2 (RESOLVE), the requester selects one or more of these ambiguous examples to label (resolving ambiguity). The new label(s) are automatically injected back into task instructions in order to improve clarity. Finally, in Stage 3 (LABEL), workers perform the actual annotation using the revised guidelines with clarifying examples. We compare three designs for using these examples: examples only, tags only, or both. We report image labeling experiments over six task designs using Amazon's Mechanical Turk. Results show improved annotation accuracy and further insights regarding effective design for crowdsourced annotation tasks.
• Abstract（参考訳）: 本稿では,タスク命令のあいまいさを低減し,アノテーション品質を向上させるために,クラウドソースアノテーションのための3段階のfind-resolve-labelワークフローを提案する。 ステージ1(検索)は、タスク指示によって正しいラベルがあいまいに見える例を群衆に求める。 労働者はまた、見つけた特定のインスタンスによって具現化された曖昧な概念を記述する短いタグを提供するように求められます。 このステージのコラボレーションデザインと非コラボレーションデザインを比較します。 ステージ2(RESOLVE)では、要求者はこれらの曖昧な例の1つ以上をラベル(曖昧さの解消)に選択する。 新しいラベルは、明確性を改善するためにタスク命令に自動的に注入される。 最後に、第3段階(LABEL)において、労働者は実例を明確にした修正ガイドラインを用いて実際のアノテーションを実行する。 これらの例を使うための3つの設計を比較します。例のみ、タグのみ、または両方です。 amazonのmechanical turkを用いた6つのタスク設計に関する画像ラベリング実験を報告する。 その結果,クラウドソース型アノテーションタスクにおいて,アノテーションの精度の向上と効果的な設計に関するさらなる知見が得られた。

関連論文リスト

• Weakly Supervised 3D Instance Segmentation without Instance-level Annotations [57.615325809883636]
  3Dセマンティックシーン理解タスクは、ディープラーニングの出現によって大きな成功を収めた。 本稿では,分類的セマンティックラベルのみを監督対象とする,弱制御型3Dインスタンスセマンティクス手法を提案する。 分類的セマンティックラベルから擬似インスタンスラベルを生成することで,アノテーションコストの低減で既存の3Dインスタンスセグメンテーションの学習を支援することができる。
  論文  参考訳（メタデータ） (2023-08-03T12:30:52Z)
• You Only Need One Thing One Click: Self-Training for Weakly Supervised 3D Scene Understanding [107.06117227661204]
  私たちはOne Thing One Click''を提案する。つまり、アノテーションはオブジェクトごとに1つのポイントをラベル付けするだけです。 グラフ伝搬モジュールによって促進されるトレーニングとラベル伝搬を反復的に行う。 我々のモデルは、ポイントクラスタリング戦略を備えた3Dインスタンスセグメンテーションと互換性がある。
  論文  参考訳（メタデータ） (2023-03-26T13:57:00Z)
• SepLL: Separating Latent Class Labels from Weak Supervision Noise [4.730767228515796]
  弱い教師付き学習では、ラベル付け機能は自動的にデータサンプルにラベルを割り当て、しばしばうるさい。 本研究では,2種類の補完情報を分離し,弱いラベルから学習する手法を提案する。 我々のモデルは最先端技術と競合し、新しい最高の平均性能をもたらす。
  論文  参考訳（メタデータ） (2022-10-25T10:33:45Z)
• Collaborative Propagation on Multiple Instance Graphs for 3D Instance Segmentation with Single-point Supervision [63.429704654271475]
  本稿では,1つのオブジェクトを1つのポイントでラベル付けするだけでよい,弱教師付き手法RWSegを提案する。 これらの疎いラベルにより、セマンティック情報とインスタンス情報を伝達する2つの分岐を持つ統一的なフレームワークを導入する。 具体的には、異なるインスタンスグラフ間の競合を促進するクロスグラフ競合ランダムウォークス(CRW)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-10T02:14:39Z)
• Two Contrasting Data Annotation Paradigms for Subjective NLP Tasks [17.033055327465238]
  データアノテーションのためのコントラストパラダイムを2つ提案する。 記述的パラダイムはアノテータの主観性を促進するが、規範的パラダイムはそれを妨げている。 データセット作成者は、データセットの意図した使用を促進するために、どちらか一方を明示的に目標にすべきである、と私たちは主張する。
  論文  参考訳（メタデータ） (2021-12-14T15:38:22Z)
• Learning with Different Amounts of Annotation: From Zero to Many Labels [19.869498599986006]
  NLPシステムのトレーニングは通常、例ごとに1つの人間ラベルを持つ注釈付きデータへのアクセスを前提としている。 我々は、トレーニング例の小さなサブセットに対して、サンプル毎に複数のラベルを割り当てる、新しいアノテーション分布スキームについて検討する。 このような複数ラベルの例を、より少ない例に注釈をつけるコストで導入することは、自然言語推論タスクとエンティティ型付けタスクに明らかな利益をもたらす。
  論文  参考訳（メタデータ） (2021-09-09T16:48:41Z)
• Visual Transformer for Task-aware Active Learning [49.903358393660724]
  プールベースのアクティブラーニングのための新しいパイプラインを提案する。 提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。 ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
  論文  参考訳（メタデータ） (2021-06-07T17:13:59Z)
• Annotation Curricula to Implicitly Train Non-Expert Annotators [56.67768938052715]
  自発的な研究は、しばしば、アノテータがタスク、そのアノテーションスキーム、およびデータドメインに精通することを要求する。 これは最初は圧倒的であり、精神的に課税され、結果として生じるアノテーションにエラーを誘導する。 暗黙的にアノテータを訓練する新しい手法であるアノテーションキュリキュラを提案する。
  論文  参考訳（メタデータ） (2021-06-04T09:48:28Z)
• One Thing One Click: A Self-Training Approach for Weakly Supervised 3D Semantic Segmentation [78.36781565047656]
  私たちは、アノテーションーがオブジェクトごとに1ポイントだけラベルを付ける必要があることを意味する「One Thing One Click」を提案します。 グラフ伝搬モジュールによって促進されるトレーニングとラベル伝搬を反復的に行う。 私たちの結果は、完全に監督されたものと同等です。
  論文  参考訳（メタデータ） (2021-04-06T02:27:25Z)
• LEAN-LIFE: A Label-Efficient Annotation Framework Towards Learning from Explanation [40.72453599376169]
  LEAN-LIFEは、シーケンスラベリングと分類タスクのためのWebベースのラベル有効アノテーションフレームワークである。 我々のフレームワークは、この強化された監視技術を利用した最初のものであり、3つの重要なタスクに役立ちます。
  論文  参考訳（メタデータ） (2020-04-16T07:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。