論文の概要: H-COAL: Human Correction of AI-Generated Labels for Biomedical Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2311.11981v1
• Date: Mon, 20 Nov 2023 18:16:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 17:42:22.525044
• Title: H-COAL: Human Correction of AI-Generated Labels for Biomedical Named Entity Recognition
• Title（参考訳）: H-COAL:生物医学的名前付きエンティティ認識のためのAI生成ラベルの人間補正
• Authors: Xiaojing Duan, John P. Lalor
• Abstract要約: 5%のラベルを修正すれば、AI人間のパフォーマンスギャップを最大64%改善できることを示す。 また、20%のラベルを修正すれば、パフォーマンスのギャップを最大86%改善できることも示しています。
• 参考スコア（独自算出の注目度）: 0.9298134918423911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid advancement of machine learning models for NLP tasks, collecting high-fidelity labels from AI models is a realistic possibility. Firms now make AI available to customers via predictions as a service (PaaS). This includes PaaS products for healthcare. It is unclear whether these labels can be used for training a local model without expensive annotation checking by in-house experts. In this work, we propose a new framework for Human Correction of AI-Generated Labels (H-COAL). By ranking AI-generated outputs, one can selectively correct labels and approach gold standard performance (100% human labeling) with significantly less human effort. We show that correcting 5% of labels can close the AI-human performance gap by up to 64% relative improvement, and correcting 20% of labels can close the performance gap by up to 86% relative improvement.
• Abstract（参考訳）: NLPタスクのための機械学習モデルの急速な進歩により、AIモデルから高忠実度ラベルを収集することは現実的な可能性である。 企業は現在、予測アズ・ア・サービス(PaaS)を通じてAIを顧客に提供する。 これにはヘルスケア用のPaaS製品が含まれる。 これらのラベルが、社内の専門家による高価なアノテーションチェックなしで、ローカルモデルのトレーニングに使用できるかどうかは不明だ。 本研究では,AI生成ラベル(H-COAL)の補正のための新しい枠組みを提案する。 AI生成したアウトプットをランク付けすることで、ラベルを選択的に修正し、人間の努力をはるかに少なくして、金の標準パフォーマンス(100%の人間ラベル)にアプローチすることができる。 ラベルの5%の修正は、aiと人間のパフォーマンスのギャップを最大64%減らすことができ、20%のラベルの修正は、パフォーマンスのギャップを最大86%減らすことができることを示した。

関連論文リスト

• LabelAId: Just-in-time AI Interventions for Improving Human Labeling Quality and Domain Knowledge in Crowdsourcing Systems [16.546017147593044]
  本稿では,クラウドワーカー間でのラベル付け品質とドメイン固有の知識の両面を強化するために,ジャスト・イン・タイムのAI介入について検討する。 本稿では,PWS(Programmatic Weak Supervision)とFT変換器を組み合わせてラベルの正しさを推定する高度な推論モデルであるLabelAIdを紹介する。 その後、都市アクセシビリティのためのオープンソースのクラウドソーシングプラットフォームであるProject SidewalkにLabelAIdを実装しました。
  論文  参考訳（メタデータ） (2024-03-14T18:59:10Z)
• Unleashing the Strengths of Unlabeled Data in Pan-cancer Abdominal Organ Quantification: the FLARE22 Challenge [18.48059187629883]
  FLARE 2022 Challengeは、これまでで最大の腹部臓器分析チャレンジで、高速、低リソース、正確、アノテーション効率、一般化されたAIアルゴリズムをベンチマークします。 我々は50以上の医療グループからなる大陸間・多国間データセットを構築した。 最高の性能のアルゴリズムは、それぞれ北米、ヨーロッパ、アジアのコホートで89.5%、90.9%、88.3%という中央値のDSCを達成した。
  論文  参考訳（メタデータ） (2023-08-10T21:51:48Z)
• Beyond Active Learning: Leveraging the Full Potential of Human Interaction via Auto-Labeling, Human Correction, and Human Verification [3.58439716487063]
  Active Learning(AL)は、データインスタンスをインタラクティブかつ適応的にラベル付けする、ヒューマン・イン・ザ・ループのフレームワークである。 CLARIFIERは人間との対話をより効果的に活用できる対話型学習フレームワークである。
  論文  参考訳（メタデータ） (2023-06-02T05:40:11Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Improved Adaptive Algorithm for Scalable Active Learning with Weak Labeler [89.27610526884496]
  Weak Labeler Active Cover (WL-AC)は、要求される精度を維持しながら、クエリの複雑さを低減するために、低品質の弱いラベルを堅牢に活用することができる。 受動学習と同一の精度を維持しつつラベル数を著しく削減し, 劣化したMNISTデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2022-11-04T02:52:54Z)
• Eliciting and Learning with Soft Labels from Every Annotator [31.10635260890126]
  個々のアノテータからソフトラベルを効率よく抽出することに注力する。 ラベルによる学習は,従来の手法と同等のモデル性能を達成できることを実証する。
  論文  参考訳（メタデータ） (2022-07-02T12:03:00Z)
• Going Beyond One-Hot Encoding in Classification: Can Human Uncertainty Improve Model Performance? [14.610038284393166]
  ラベルの不確実性は、分散ラベルを介してトレーニングプロセスに明示的に組み込まれていることを示す。 ラベルの不確実性の取り込みは、モデルが見つからないデータをより一般化し、モデルの性能を向上させるのに役立ちます。 既存のキャリブレーション法と同様に、分布ラベルはより良いキャリブレーションの確率をもたらし、それによってより確実で信頼できる予測が得られる。
  論文  参考訳（メタデータ） (2022-05-30T17:19:11Z)
• Delving into Probabilistic Uncertainty for Unsupervised Domain Adaptive Person Re-Identification [54.174146346387204]
  ドメイン適応型人物再識別のための確率的不確実性誘導プログレッシブラベル精錬(P$2$LR)という手法を提案する。 擬似ラベルの不確実性を測定し、ネットワークトレーニングを容易にする定量的基準を確立する。 本手法はDuke2Marketタスクではベースラインが6.5%,Market2MSMTタスクでは2.5%,最先端手法では2.5%を上回った。
  論文  参考訳（メタデータ） (2021-12-28T07:40:12Z)
• TagLab: A human-centric AI system for interactive semantic segmentation [63.84619323110687]
  TagLabは、大規模な画像に注釈をつけるための、オープンソースのAI支援ソフトウェアである。 画像アノテーションをスクラッチから支援ツールを通じてスピードアップし、カスタムの完全自動セマンティックセグメンテーションモデルを作成し、自動予測の迅速な編集を可能にする。 研究結果は,海洋生態学と建築遺産の2つの異なるシナリオで報告した。
  論文  参考訳（メタデータ） (2021-12-23T16:50:06Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)
• Learning to Purify Noisy Labels via Meta Soft Label Corrector [49.92310583232323]
  最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。 ラベル修正戦略はこの問題を軽減するために一般的に用いられる。 メタ学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-03T03:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。