論文の概要: Label Critic: Design Data Before Models

• arxiv url: http://arxiv.org/abs/2411.02753v1
• Date: Tue, 05 Nov 2024 02:50:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:59:57.204785
• Title: Label Critic: Design Data Before Models
• Title（参考訳）: Label Critic: モデルよりも前の設計データ
• Authors: Pedro R. A. S. Bassi, Qilong Wu, Wenxuan Li, Sergio Decherchi, Andrea Cavalli, Alan Yuille, Zongwei Zhou,
• Abstract要約: ペア比較によりラベル品質を評価できるラベル批判という自動ツールを開発した。 Best-AIラベルが十分に正確であれば(ボディ構造によって81%)、データセットのゴールドスタンダードアノテーションとして直接採用されます。 Label Criticは、1つのAIラベルのラベル品質を71.8%の精度でチェックできる。
• 参考スコア（独自算出の注目度）: 7.142066343369597
• License:
• Abstract: As medical datasets rapidly expand, creating detailed annotations of different body structures becomes increasingly expensive and time-consuming. We consider that requesting radiologists to create detailed annotations is unnecessarily burdensome and that pre-existing AI models can largely automate this process. Following the spirit don't use a sledgehammer on a nut, we find that, rather than creating annotations from scratch, radiologists only have to review and edit errors if the Best-AI Labels have mistakes. To obtain the Best-AI Labels among multiple AI Labels, we developed an automatic tool, called Label Critic, that can assess label quality through tireless pairwise comparisons. Extensive experiments demonstrate that, when incorporated with our developed Image-Prompt pairs, pre-existing Large Vision-Language Models (LVLM), trained on natural images and texts, achieve 96.5% accuracy when choosing the best label in a pair-wise comparison, without extra fine-tuning. By transforming the manual annotation task (30-60 min/scan) into an automatic comparison task (15 sec/scan), we effectively reduce the manual efforts required from radiologists by an order of magnitude. When the Best-AI Labels are sufficiently accurate (81% depending on body structures), they will be directly adopted as the gold-standard annotations for the dataset, with lower-quality AI Labels automatically discarded. Label Critic can also check the label quality of a single AI Label with 71.8% accuracy when no alternatives are available for comparison, prompting radiologists to review and edit if the estimated quality is low (19% depending on body structures).
• Abstract（参考訳）: 医療データセットが急速に拡大するにつれて、さまざまな身体構造に関する詳細なアノテーションの作成は、ますます高価になり、時間がかかります。 我々は、放射線学者に詳細なアノテーションを作成するよう要求することは必然的に重荷であり、既存のAIモデルがこのプロセスをほぼ自動化できると考えている。 放射線学者は、スクラッチからアノテーションを作成するのではなく、ベストAIラベルに間違いがあればエラーをレビューし、編集するだけです。 複数のAIラベルの中からベストAIラベルを得るために,タイヤレスペア比較によりラベル品質を評価する,ラベル批判と呼ばれる自動ツールを開発した。 広汎な実験により、既存のLVLM(Large Vision-Language Models)は、自然画像とテキストに基づいて訓練され、追加の微調整なしで最高のラベルを選択する場合、96.5%の精度が得られた。 手動のアノテーションタスク(30-60 min/scan)を自動比較タスク(15 sec/scan)に変換することにより、放射線技師が必要とする手動作業を桁違いに効果的に削減する。 ベストAIラベルが十分に正確であれば(ボディ構造によって81%)、データセットのゴールドスタンダードアノテーションとして直接採用され、低品質のAIラベルは自動的に破棄される。 ラベル批評家は、1つのAIラベルのラベル品質を71.8%の精度で比較できるため、推定品質が低い場合(身体構造によっては19%)、放射線学者はレビューと編集を行うことができる。

関連論文リスト

• Automatic Labels are as Effective as Manual Labels in Biomedical Images Classification with Deep Learning [32.71326861917332]
  特定のタスクを実行するためにディープラーニングアルゴリズムを訓練する主な制限の1つは、医療専門家がデータをラベル付けする必要があることである。 本稿では,全スライド画像(WSI)の分類に基づくDLモデルをトレーニングするために,自動ラベルをどのような状況で適用できるかを検討することを目的とする。 セマンティック・ナレッジ・エクストラクタ・ツール(SKET)アルゴリズムを用いて自動ラベルを生成すると、手動ラベルで得られたものと同等の性能が得られる。
  論文  参考訳（メタデータ） (2024-06-20T14:20:50Z)
• LABELMAKER: Automatic Semantic Label Generation from RGB-D Trajectories [59.14011485494713]
  この研究は、完全に自動化された2D/3Dラベリングフレームワークを導入し、RGB-Dスキャンのラベルを同等(あるいはそれ以上)の精度で生成できる。 我々は、ScanNetデータセットのラベルを大幅に改善し、これまでラベル付けされていなかったARKitScenesデータセットを自動的にラベル付けすることで、LabelMakerパイプラインの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-20T20:40:24Z)
• H-COAL: Human Correction of AI-Generated Labels for Biomedical Named Entity Recognition [0.9298134918423911]
  5%のラベルを修正すれば、AI人間のパフォーマンスギャップを最大64%改善できることを示す。 また、20%のラベルを修正すれば、パフォーマンスのギャップを最大86%改善できることも示しています。
  論文  参考訳（メタデータ） (2023-11-20T18:16:27Z)
• Estimating label quality and errors in semantic segmentation data via any model [19.84626033109009]
  ラベル品質を評価する手法について検討し、最も低いスコアのイメージを正しくラベル付けする可能性が低いことを示す。 これにより、高品質なトレーニング/評価データセットを保証するために、レビューするデータを優先順位付けすることが可能になる。
  論文  参考訳（メタデータ） (2023-07-11T07:29:09Z)
• Automated Labeling of German Chest X-Ray Radiology Reports using Deep Learning [50.591267188664666]
  本稿では,ルールベースのドイツ語CheXpertモデルによってラベル付けされたレポートに基づいて,ディープラーニングに基づくCheXpertラベル予測モデルを提案する。 その結果,3つのタスクすべてにおいて,ルールベースモデルを大幅に上回ったアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2023-06-09T16:08:35Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Transfer learning with weak labels from radiology reports: application to glioma change detection [0.2010294990327175]
  弱いラベル(不正確だが高速に生成するアノテーション)とトランスファーラーニング(TL)の併用を提案する。 具体的には、ソースドメインとターゲットドメインが同一であるが、ラベルシフトによってタスクが異なるインダクティブTLについて検討する。 低容量VGGと高容量SEResNeXtを比較し,モデルサイズとTLの関係について検討した。
  論文  参考訳（メタデータ） (2022-10-18T09:15:27Z)
• TagLab: A human-centric AI system for interactive semantic segmentation [63.84619323110687]
  TagLabは、大規模な画像に注釈をつけるための、オープンソースのAI支援ソフトウェアである。 画像アノテーションをスクラッチから支援ツールを通じてスピードアップし、カスタムの完全自動セマンティックセグメンテーションモデルを作成し、自動予測の迅速な編集を可能にする。 研究結果は,海洋生態学と建築遺産の2つの異なるシナリオで報告した。
  論文  参考訳（メタデータ） (2021-12-23T16:50:06Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)
• Active Learning for Noisy Data Streams Using Weak and Strong Labelers [3.9370369973510746]
  我々は、人間のラベリング能力に触発された、新しい弱くて強力なラベリング問題を考える。 そこで本研究では,フィルタリング,多様性の追加,情報的サンプル選択,ラベル抽出の4段階からなるオンライン能動学習アルゴリズムを提案する。 我々は,個々のサンプルの情報とモデル信頼度を組み合わせることで,情報ゲインを測定する決定関数を導出する。
  論文  参考訳（メタデータ） (2020-10-27T09:18:35Z)
• Learning to Purify Noisy Labels via Meta Soft Label Corrector [49.92310583232323]
  最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。 ラベル修正戦略はこの問題を軽減するために一般的に用いられる。 メタ学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-03T03:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。