論文の概要: LabelAId: Just-in-time AI Interventions for Improving Human Labeling Quality and Domain Knowledge in Crowdsourcing Systems
- arxiv url: http://arxiv.org/abs/2403.09810v1
- Date: Thu, 14 Mar 2024 18:59:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 21:25:23.860359
- Title: LabelAId: Just-in-time AI Interventions for Improving Human Labeling Quality and Domain Knowledge in Crowdsourcing Systems
- Title（参考訳）: LabelAId: クラウドソーシングシステムにおける人間のラベル付け品質とドメイン知識を改善するためのジャストインタイムAIインターベンション
- Authors: Chu Li, Zhihan Zhang, Michael Saugstad, Esteban Safranchik, Minchu Kulkarni, Xiaoyu Huang, Shwetak Patel, Vikram Iyer, Tim Althoff, Jon E. Froehlich,
- Abstract要約: 本稿では,クラウドワーカー間でのラベル付け品質とドメイン固有の知識の両面を強化するために,ジャスト・イン・タイムのAI介入について検討する。
本稿では,PWS(Programmatic Weak Supervision)とFT変換器を組み合わせてラベルの正しさを推定する高度な推論モデルであるLabelAIdを紹介する。
その後、都市アクセシビリティのためのオープンソースのクラウドソーシングプラットフォームであるProject SidewalkにLabelAIdを実装しました。
- 参考スコア（独自算出の注目度）: 16.546017147593044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Crowdsourcing platforms have transformed distributed problem-solving, yet quality control remains a persistent challenge. Traditional quality control measures, such as prescreening workers and refining instructions, often focus solely on optimizing economic output. This paper explores just-in-time AI interventions to enhance both labeling quality and domain-specific knowledge among crowdworkers. We introduce LabelAId, an advanced inference model combining Programmatic Weak Supervision (PWS) with FT-Transformers to infer label correctness based on user behavior and domain knowledge. Our technical evaluation shows that our LabelAId pipeline consistently outperforms state-of-the-art ML baselines, improving mistake inference accuracy by 36.7% with 50 downstream samples. We then implemented LabelAId into Project Sidewalk, an open-source crowdsourcing platform for urban accessibility. A between-subjects study with 34 participants demonstrates that LabelAId significantly enhances label precision without compromising efficiency while also increasing labeler confidence. We discuss LabelAId's success factors, limitations, and its generalizability to other crowdsourced science domains.
- Abstract（参考訳）: クラウドソーシングプラットフォームは、分散問題解決を変革してきたが、品質管理は依然として永続的な課題である。
労働者の事前審査や精錬指示のような伝統的な品質管理策は、しばしば経済生産の最適化にのみ焦点をあてる。
本稿では,クラウドワーカー間でのラベル付け品質とドメイン固有の知識の両面を強化するために,ジャスト・イン・タイムのAI介入について検討する。
本稿では,PWS(Programmatic Weak Supervision)とFT変換器を組み合わせた高度な推論モデルであるLabelAIdを紹介する。
技術的評価によると,当社のLabelAIdパイプラインは最先端のMLベースラインを一貫して上回り,50のダウンストリームサンプルでエラー推測精度を36.7%向上している。
その後、都市アクセシビリティのためのオープンソースのクラウドソーシングプラットフォームであるProject SidewalkにLabelAIdを実装しました。
34名の被験者による比較研究により、ラベルAIdは効率を損なうことなくラベルの精度を著しく向上し、ラベルの信頼性も向上することが示された。
本稿では,LabelAIdの成功要因,限界,および他のクラウドソース科学領域への一般化可能性について論じる。
関連論文リスト
- Quality Sentinel: Estimating Label Quality and Errors in Medical Segmentation Datasets [11.134987228105162]
医用セグメンテーションデータセットのマニュアルアノテーションと比較してラベル品質を推定するための回帰モデルであるQuality Sentinelを導入する。
この回帰モデルは、私たちが開発した400万以上の画像ラベルペアでトレーニングされました。
われわれの品質センサーは、142のボディ構造のラベル品質を予測できる。
論文 参考訳（メタデータ） (2024-06-01T07:03:15Z) - Crowdsourcing with Enhanced Data Quality Assurance: An Efficient Approach to Mitigate Resource Scarcity Challenges in Training Large Language Models for Healthcare [0.0]
本稿では,事前,リアルタイムおよびデータ収集段階における品質管理対策を充実したクラウドソーシングフレームワークを提案する。
本研究は,大規模言語モデルによる自閉症関連症状の予測によるデータ品質向上効果について検討した。
論文 参考訳（メタデータ） (2024-05-16T08:29:00Z) - Soften to Defend: Towards Adversarial Robustness via Self-Guided Label Refinement [5.865750284677784]
敵対的訓練(AT)は、敵対的攻撃に対するディープニューラルネットワークの堅牢性を得る最も効果的な方法の1つである。
AT法は頑健なオーバーフィッティング、すなわちトレーニング曲線とテスト曲線の間の大きな一般化ギャップに悩まされている。
本稿では,AT のラベルリファインメント手法を提案する。この手法は,高信頼のハードラベルから,より正確かつ情報的なラベル分布を自己定義する。
論文 参考訳（メタデータ） (2024-03-14T04:48:31Z) - H-COAL: Human Correction of AI-Generated Labels for Biomedical Named
Entity Recognition [0.9298134918423911]
5%のラベルを修正すれば、AI人間のパフォーマンスギャップを最大64%改善できることを示す。
また、20%のラベルを修正すれば、パフォーマンスのギャップを最大86%改善できることも示しています。
論文 参考訳（メタデータ） (2023-11-20T18:16:27Z) - Probabilistic Test-Time Generalization by Variational Neighbor-Labeling [62.158807685159736]
本稿では、ドメインの一般化を試み、モデルが未確認のターゲットドメインにデプロイされる前に、ソースドメインにのみトレーニングされる。
ソーストレーニングされたモデルをテスト時にターゲットドメインに一般化するための、ターゲットサンプルの擬似ラベル化の確率。
より堅牢な擬似ラベルを生成するために、近隣のターゲットサンプルの情報を含む変分隣接ラベル。
論文 参考訳（メタデータ） (2023-07-08T18:58:08Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-26T03:53:25Z) - A Weakly Supervised Learning Framework for Salient Object Detection via
Hybrid Labels [96.56299163691979]
本稿では,ハイブリッドラベル下でのSODタスクに焦点をあてる。
このタスクにおけるラベルノイズと量不均衡の問題に対処するため、我々は3つの洗練されたトレーニング戦略を持つ新しいパイプラインフレームワークを設計する。
5つのSODベンチマーク実験により,本手法は弱教師付き/非教師付き手法と競合する性能を示した。
論文 参考訳（メタデータ） (2022-09-07T06:45:39Z) - Adapting to Online Label Shift with Provable Guarantees [137.89382409682233]
オンラインラベルシフトの問題を定式化し,検討する。
非定常性と監督の欠如は、この問題に取り組むことを困難にしている。
我々のアルゴリズムは最適な動的後悔を享受しており、性能が透かしの性質と競合していることを示している。
論文 参考訳（メタデータ） (2022-07-05T15:43:14Z) - Who Decides if AI is Fair? The Labels Problem in Algorithmic Auditing [0.0]
都市部と農村部におけるASRの性能は, 基礎的真理データの忠実度によって急激な差異が生じる可能性が示唆された。
この結果から,ラベルの品質とデータアノテーションのコストのトレードオフが,実際にアルゴリズムによる監査を複雑化する可能性が示唆された。
論文 参考訳（メタデータ） (2021-11-16T19:00:03Z) - Creating Training Sets via Weak Indirect Supervision [66.77795318313372]
Weak Supervision (WS)フレームワークは、複数の潜在的にノイズの多い監督ソースからトレーニングラベルを合成する。
Weak Indirect Supervision (WIS) は、トレーニングラベルの自動合成のための新しい研究課題である。
我々は,ユーザが提供するラベル関係を利用して間接的な監督源をモデル化し活用する確率論的モデリング手法PLRMを開発した。
論文 参考訳（メタデータ） (2021-10-07T14:09:35Z) - Mutual Mean-Teaching: Pseudo Label Refinery for Unsupervised Domain
Adaptation on Person Re-identification [56.97651712118167]
人物再識別(re-ID)は、異なるカメラで同一人物の画像を特定することを目的としている。
異なるデータセット間のドメインの多様性は、あるデータセットでトレーニングされたre-IDモデルを別のデータセットに適応させる上で、明らかな課題となる。
教師なしフレームワークであるMutual Mean-Teaching(MMT)を提案し、オフラインで改良されたハードな擬似ラベルとオンラインで改良されたソフトな擬似ラベルを用いて、ターゲットドメインからより良い特徴を学習する。
論文 参考訳（メタデータ） (2020-01-06T12:42:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。