論文の概要: Semi-supervised Learning using Robust Loss

• arxiv url: http://arxiv.org/abs/2203.01524v1
• Date: Thu, 3 Mar 2022 05:34:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 16:42:58.225170
• Title: Semi-supervised Learning using Robust Loss
• Title（参考訳）: ロバスト損失を用いた半教師付き学習
• Authors: Wenhui Cui, Haleh Akrami, Anand A. Joshi, Richard M. Leahy
• Abstract要約: 手動ラベル付きデータと追加ラベル付きデータの両方を活用するための半教師付きトレーニング戦略を提案する。 既存の手法とは対照的に、自動ラベル付きデータに対してロバストな損失を適用し、不均一なデータ品質を補う。 提案手法は,画像分類におけるラベルの不均一な品質を補正することにより,モデル性能の向上を図っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The amount of manually labeled data is limited in medical applications, so semi-supervised learning and automatic labeling strategies can be an asset for training deep neural networks. However, the quality of the automatically generated labels can be uneven and inferior to manual labels. In this paper, we suggest a semi-supervised training strategy for leveraging both manually labeled data and extra unlabeled data. In contrast to the existing approaches, we apply robust loss for the automated labeled data to automatically compensate for the uneven data quality using a teacher-student framework. First, we generate pseudo-labels for unlabeled data using a teacher model pre-trained on labeled data. These pseudo-labels are noisy, and using them along with labeled data for training a deep neural network can severely degrade learned feature representations and the generalization of the network. Here we mitigate the effect of these pseudo-labels by using robust loss functions. Specifically, we use three robust loss functions, namely beta cross-entropy, symmetric cross-entropy, and generalized cross-entropy. We show that our proposed strategy improves the model performance by compensating for the uneven quality of labels in image classification as well as segmentation applications.
• Abstract（参考訳）: 手動でラベル付けされたデータの量は医療用途に限られているため、半教師付き学習と自動ラベリング戦略は、ディープニューラルネットワークのトレーニングに有用である。 しかし、自動生成ラベルの品質は、手動ラベルよりも不均一で劣る可能性がある。 本稿では,手動ラベル付きデータと追加ラベル付きデータの両方を活用するための半教師付きトレーニング戦略を提案する。 既存の手法とは対照的に,自動ラベル付きデータに対してロバストな損失を適用し,教師学習フレームワークを用いて不均一なデータ品質を自動的に補償する。 まず,ラベル付きデータに事前学習した教師モデルを用いて,ラベル付きデータに対する擬似ラベルを生成する。 これらの擬似ラベルはノイズが多く、ディープニューラルネットワークのトレーニングにラベル付きデータと共に使用すると、学習された特徴表現とネットワークの一般化が著しく低下する。 ここではロバスト損失関数を用いて擬似ラベルの効果を緩和する。 具体的には,ベータクロスエントロピー,対称クロスエントロピー,一般化クロスエントロピーという3つのロバストな損失関数を用いる。 提案手法は,画像分類やセグメンテーションアプリケーションにおいてラベルの不均一な品質を補償することにより,モデル性能を向上させる。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data [70.25049762295193]
  本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。 本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。 実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T08:31:59Z)
• Doubly Robust Self-Training [46.168395767948965]
  本稿では,新しい半教師付きアルゴリズムである二重頑健な自己学習を導入する。 通常の自己学習ベースラインよりも2倍頑健な損失の優位性を実証する。
  論文  参考訳（メタデータ） (2023-06-01T00:57:16Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Losses over Labels: Weakly Supervised Learning via Direct Loss Construction [71.11337906077483]
  プログラム可能な弱い監視は、機械学習のパラダイムとして成長している。 ラベルの中間ステップを経由することなく,直接損失を発生させるため,ラベルのロバスト・オーバー・ラベル(Losses over Labels, LoL)を提案する。 いくつかのベンチマークテキストおよび画像分類タスクにおいて、LoLは既存の弱い監督手法を改善していることを示す。
  論文  参考訳（メタデータ） (2022-12-13T22:29:14Z)
• Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation [21.163070161951868]
  半消費学習(SSL)は、教師なしデータをトレーニングに組み込むことで、大きなラベル付きデータセットの必要性を減らすことができる。 現在のSSLアプローチでは、初期教師付きトレーニングモデルを使用して、擬似ラベルと呼ばれる未ラベル画像の予測を生成する。 擬似ラベルノイズと誤りを3つのメカニズムで制御する。
  論文  参考訳（メタデータ） (2022-10-19T09:46:27Z)
• Weighted Distillation with Unlabeled Examples [15.825078347452024]
  ラベルなし例による蒸留は、ラベル付きデータの量を制限する設定において、ディープニューラルネットワークをトレーニングするための一般的で強力な方法である。 本稿では, 蒸留訓練のパラダイムに合わせて, 学生の損失関数の再重み付けに基づいて, この問題に対処するための原則的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-13T04:08:56Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)
• Iterative Label Improvement: Robust Training by Confidence Based Filtering and Dataset Partitioning [5.1293809610257775]
  最先端、高容量のディープニューラルネットワークは、大量のラベル付きトレーニングデータを必要とする。 また、このデータにエラーをラベル付けする可能性も高い。 本稿では,安価な非競合データを使用することのできる新しいメタトレーニング・ラベリング手法を提案する。
  論文  参考訳（メタデータ） (2020-02-07T10:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。