論文の概要: Perceptual Quality-based Model Training under Annotator Label Uncertainty

• arxiv url: http://arxiv.org/abs/2403.10190v1
• Date: Fri, 15 Mar 2024 10:52:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 17:30:38.923650
• Title: Perceptual Quality-based Model Training under Annotator Label Uncertainty
• Title（参考訳）: アノテーションラベルの不確実性を考慮した知覚的品質ベースモデルトレーニング
• Authors: Chen Zhou, Mohit Prabhushankar, Ghassan AlRegib,
• Abstract要約: アノテーションは、アノテータラベルの不確実性と呼ばれるデータラベリング中に不一致を示す。 モデル学習のための複数のラベルを客観的に生成する新しい知覚品質ベースモデルトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 15.015925663078377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Annotators exhibit disagreement during data labeling, which can be termed as annotator label uncertainty. Annotator label uncertainty manifests in variations of labeling quality. Training with a single low-quality annotation per sample induces model reliability degradations. In this work, we first examine the effects of annotator label uncertainty in terms of the model's generalizability and prediction uncertainty. We observe that the model's generalizability and prediction uncertainty degrade with the presence of low-quality noisy labels. Meanwhile, our evaluation of existing uncertainty estimation algorithms indicates their incapability in response to annotator label uncertainty. To mitigate performance degradation, prior methods show that training models with labels collected from multiple independent annotators can enhance generalizability. However, they require massive annotations. Hence, we introduce a novel perceptual quality-based model training framework to objectively generate multiple labels for model training to enhance reliability, while avoiding massive annotations. Specifically, we first select a subset of samples with low perceptual quality scores ranked by statistical regularities of visual signals. We then assign de-aggregated labels to each sample in this subset to obtain a training set with multiple labels. Our experiments and analysis demonstrate that training with the proposed framework alleviates the degradation of generalizability and prediction uncertainty caused by annotator label uncertainty.
• Abstract（参考訳）: アノテーションは、アノテータラベルの不確実性と呼ばれるデータラベリング中に不一致を示す。 アノテーションラベルの不確実性はラベル品質のバリエーションに現れる。 サンプル毎に1つの低品質アノテーションでトレーニングすることで、モデルの信頼性が低下する。 本研究ではまず,アノテータラベルの不確かさがモデルの一般化可能性および予測不確かさに与える影響について検討する。 モデルの一般化性と予測の不確実性は,低品質ノイズラベルの存在によって低下する。 一方,既存の不確実性推定アルゴリズムの評価は,アノテータラベルの不確実性に対する不確実性を示す。 性能劣化を軽減するために、先行手法では、複数の独立アノテータから収集したラベルを用いたトレーニングモデルにより、一般化性を高めることができる。 しかし、それらは大量のアノテーションを必要とする。 そこで本研究では,信頼性を高めるため,大量のアノテーションを回避しつつ,複数のラベルを客観的に生成する,新しい品質ベースモデルトレーニングフレームワークを提案する。 具体的には、視覚信号の統計的規則性によってランク付けされた知覚品質スコアの低いサンプルのサブセットを選択する。 次に、このサブセットの各サンプルに非集約ラベルを割り当て、複数のラベルを持つトレーニングセットを得る。 実験と分析により,アノテータラベルの不確実性に起因する一般化可能性の低下と予測の不確実性を軽減することが確認された。

関連論文リスト

• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data [70.25049762295193]
  本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。 本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。 実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T08:31:59Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning [10.396596055773012]
  本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。 テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。 我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
  論文  参考訳（メタデータ） (2023-01-15T03:36:33Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• Learning with Proper Partial Labels [87.65718705642819]
  部分ラベル学習は、不正確なラベルを持つ弱い教師付き学習の一種である。 この適切な部分ラベル学習フレームワークには,従来の部分ラベル学習設定が数多く含まれていることを示す。 次に、分類リスクの統一的非バイアス推定器を導出する。
  論文  参考訳（メタデータ） (2021-12-23T01:37:03Z)
• Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting [45.58217741522973]
  逆行訓練においてラベルノイズが存在することを示す。 このようなラベルノイズは、正反対例の真のラベル分布とクリーン例から受け継いだラベルとのミスマッチに起因する。 本稿では,ラベルノイズと頑健なオーバーフィッティングに対処するため,ラベルの自動校正手法を提案する。
  論文  参考訳（メタデータ） (2021-10-07T01:15:06Z)
• Incorporating Label Uncertainty in Understanding Adversarial Robustness [17.65850501514483]
  最先端モデルによって誘導される誤差領域は、ランダムに選択されたサブセットよりもラベルの不確実性が高い傾向を示す。 この観測は,ラベルの不確実性を考慮した濃度推定アルゴリズムの適用を動機付けている。
  論文  参考訳（メタデータ） (2021-07-07T14:26:57Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。