論文の概要: Label-Noise Robust Diffusion Models

• arxiv url: http://arxiv.org/abs/2402.17517v1
• Date: Tue, 27 Feb 2024 14:00:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 16:03:39.145011
• Title: Label-Noise Robust Diffusion Models
• Title（参考訳）: ラベルノイズロバスト拡散モデル
• Authors: Byeonghu Na, Yeongmin Kim, HeeSun Bae, Jung Hyun Lee, Se Jung Kwon, Wanmo Kang, Il-Chul Moon
• Abstract要約: 条件拡散モデルは、様々な生成タスクにおいて顕著な性能を示した。 訓練には、条件付き入力でしばしばノイズを含む大規模なデータセット、すなわちノイズラベルが必要である。 本稿では,雑音ラベル付き条件付き拡散モデルの学習のための遷移対応重み付きDenoising Score Matchingを提案する。
• 参考スコア（独自算出の注目度）: 18.82847557713331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conditional diffusion models have shown remarkable performance in various generative tasks, but training them requires large-scale datasets that often contain noise in conditional inputs, a.k.a. noisy labels. This noise leads to condition mismatch and quality degradation of generated data. This paper proposes Transition-aware weighted Denoising Score Matching (TDSM) for training conditional diffusion models with noisy labels, which is the first study in the line of diffusion models. The TDSM objective contains a weighted sum of score networks, incorporating instance-wise and time-dependent label transition probabilities. We introduce a transition-aware weight estimator, which leverages a time-dependent noisy-label classifier distinctively customized to the diffusion process. Through experiments across various datasets and noisy label settings, TDSM improves the quality of generated samples aligned with given conditions. Furthermore, our method improves generation performance even on prevalent benchmark datasets, which implies the potential noisy labels and their risk of generative model learning. Finally, we show the improved performance of TDSM on top of conventional noisy label corrections, which empirically proving its contribution as a part of label-noise robust generative models. Our code is available at: https://github.com/byeonghu-na/tdsm.
• Abstract（参考訳）: 条件拡散モデルは、様々な生成タスクにおいて顕著な性能を示してきたが、これらを訓練するには、条件付き入力のノイズを含む大規模なデータセットを必要とする。 このノイズは、条件ミスマッチと生成されたデータの品質劣化につながる。 本稿では,雑音ラベルを用いた条件拡散モデルの学習のためのtdsm(transition-aware weighted denoising score matching)を提案する。 TDSMの目的は、インスタンスワイドおよび時間依存ラベル遷移確率を組み込んだスコアネットワークの重み付け総和を含む。 拡散過程に特化してカスタマイズされた時間依存雑音ラベル分類器を利用する遷移対応重み推定器を提案する。 さまざまなデータセットとノイズの多いラベル設定の実験を通じて、TDSMは、所定の条件に沿って生成されたサンプルの品質を改善する。 さらに,本手法は,有意なノイズラベルと生成モデル学習のリスクを示唆する,有意なベンチマークデータセットであっても生成性能を向上させる。 最後に, 従来の雑音ラベル補正においてTDSMの性能が向上し, ラベルノイズの頑健な生成モデルの一部としての寄与を実証的に証明した。 私たちのコードは、https://github.com/byeonghu-na/tdsmで利用可能です。

関連論文リスト

• Learning under Label Noise through Few-Shot Human-in-the-Loop Refinement [37.4838454216137]
  FHLR(Few-Shot Human-in-the-Loop Refinement)は、雑音ラベル学習のための新しいソリューションである。 雑音ラベルから学習するとFHLRの性能が著しく向上することを示す。 我々の研究は、ハイテイクなヘルスセンシングベンチマークでより良い一般化を達成するだけでなく、ノイズが一般的に使われているモデルにどのように影響するかにも光を当てています。
  論文  参考訳（メタデータ） (2024-01-25T11:43:35Z)
• Fusing Conditional Submodular GAN and Programmatic Weak Supervision [5.300742881753571]
  PWS(Programmatic Weak Supervision)と生成モデルは、データ収集や手動のアノテーションプロセスに頼ることなく、既存のデータセットの有用性を最大化する重要なツールとして機能する。 PWSは、データの基礎となるクラスラベルを推定するために様々な弱い監視技術を使用し、生成モデルは、主に与えられたデータセットの基盤分布からのサンプリングに集中する。 最近、WSGANは2つのモデルを融合させるメカニズムを提案した。
  論文  参考訳（メタデータ） (2023-12-16T07:49:13Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Learning from Noisy Labels with Coarse-to-Fine Sample Credibility Modeling [22.62790706276081]
  ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。 従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。 本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T02:06:38Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels [86.5943044285146]
  ラベルノイズ遷移行列$T$は、真のラベルがノイズのあるものへと反転する確率を反映する。 本稿では,閉集合と開集合の混在したラベル雑音下での学習に着目した。 本手法は,従来の最先端のラベル雑音学習法よりも頑健な性能を追求し,混合ラベル雑音をモデル化する。
  論文  参考訳（メタデータ） (2020-12-02T02:42:45Z)
• GANs for learning from very high class conditional noisy labels [1.6516902135723865]
  我々は、GAN(Generative Adversarial Networks)を用いて、バイナリ分類のためのクラス条件付きラベルノイズ(CCN)ロバストなスキームを設計する。 まず、ノイズラベル付きデータと0.1%または1%クリーンラベルから正しいラベル付きデータポイントのセットを生成する。
  論文  参考訳（メタデータ） (2020-10-19T15:01:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。