論文の概要: Improving Diffusion Models's Data-Corruption Resistance using Scheduled Pseudo-Huber Loss
- arxiv url: http://arxiv.org/abs/2403.16728v1
- Date: Mon, 25 Mar 2024 13:02:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 20:03:02.338714
- Title: Improving Diffusion Models's Data-Corruption Resistance using Scheduled Pseudo-Huber Loss
- Title(参考訳): 擬似空間損失スケジューリングによる拡散モデルの耐食性向上
- Authors: Artem Khrapov, Vadim Popov, Tasnima Sadekova, Assel Yermekova, Mikhail Kudinov,
- Abstract要約: 本稿では,アウトレーヤに頑健でありながら,生成したデータの高品質な保存が可能な拡散損失関数を提案する。
時間依存パラメータによる擬似ハッカ損失は、画像領域と音声領域の両方で劣化したデータセットに対してより良い性能を示すことを示す。
- 参考スコア(独自算出の注目度): 5.539965805440292
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models are known to be vulnerable to outliers in training data. In this paper we study an alternative diffusion loss function, which can preserve the high quality of generated data like the original squared $L_{2}$ loss while at the same time being robust to outliers. We propose to use pseudo-Huber loss function with a time-dependent parameter to allow for the trade-off between robustness on the most vulnerable early reverse-diffusion steps and fine details restoration on the final steps. We show that pseudo-Huber loss with the time-dependent parameter exhibits better performance on corrupted datasets in both image and audio domains. In addition, the loss function we propose can potentially help diffusion models to resist dataset corruption while not requiring data filtering or purification compared to conventional training algorithms.
- Abstract(参考訳): 拡散モデルは、トレーニングデータの異常値に対して脆弱であることが知られている。
本稿では,元の2乗の$L_{2}$損失のような生成データの品質を保ちながら,出力値に頑健な代替拡散損失関数について検討する。
本稿では,最も脆弱な初期逆拡散ステップにおけるロバスト性間のトレードオフと,最終ステップにおける詳細復元を可能にするために,時間依存パラメータを用いた擬似ハッカ損失関数を提案する。
時間依存パラメータによる擬似ハッカ損失は、画像領域と音声領域の両方で劣化したデータセットに対してより良い性能を示すことを示す。
さらに,提案する損失関数は,従来のトレーニングアルゴリズムに比べてデータフィルタリングや浄化を必要とせず,データセットの破損に抵抗する拡散モデルに役立つ可能性がある。
関連論文リスト
- Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散
本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-20T14:22:12Z) - Recovering high-quality FODs from a reduced number of diffusion-weighted
images using a model-driven deep learning architecture [0.0]
モデル駆動型深層学習FOD再構成アーキテクチャを提案する。
ネットワークが生成する中間および出力FODが、入力されたDWI信号と一致していることを保証する。
モデルに基づくディープラーニングアーキテクチャは,最先端のFOD超解像ネットワークであるFOD-Netと比較して,競争性能が向上することを示す。
論文 参考訳(メタデータ) (2023-07-28T02:47:34Z) - Reevaluating Loss Functions: Enhancing Robustness to Label Noise in Deep
Learning Models [0.0]
大きな注釈付きデータセットには、必然的に誤ったラベルが含まれているため、ディープニューラルネットワークのトレーニングには大きな課題となる。
ノイズロバストモデルを作成するための単純で効果的な方法は、ノイズロバスト損失関数を使用することである。
提案する損失関数が適用可能な状況について検討し,適切な損失を選択する方法について提案する。
これは、有界損失の学習を著しく改善するだけでなく、Cifar-100データセットにおけるクロスエントロピー損失よりも優れた平均絶対誤差の損失をもたらす。
論文 参考訳(メタデータ) (2023-06-08T18:38:55Z) - DifFace: Blind Face Restoration with Diffused Error Contraction [73.80750717836384]
DifFaceは、複雑な損失設計なしで、目に見えない複雑な劣化にもっと優しく対処できる。
現在の最先端の手法よりも優れており、特に深刻な劣化の場合には優れている。
論文 参考訳(メタデータ) (2022-12-13T11:52:33Z) - DynImp: Dynamic Imputation for Wearable Sensing Data Through Sensory and
Temporal Relatedness [78.98998551326812]
従来の手法では、データの時系列ダイナミクスと、異なるセンサーの特徴の関連性の両方をめったに利用していない、と我々は主張する。
我々はDynImpと呼ばれるモデルを提案し、特徴軸に沿って近接する隣人と異なる時間点の欠如を扱う。
本手法は, 関連センサのマルチモーダル性特性を活かし, 履歴時系列のダイナミックスから学習し, 極端に欠落した状態でデータを再構築することができることを示す。
論文 参考訳(メタデータ) (2022-09-26T21:59:14Z) - Truncated Diffusion Probabilistic Models and Diffusion-based Adversarial
Auto-Encoders [137.1060633388405]
拡散に基づく生成モデルは、逆拡散連鎖を推論してデータを生成する方法を学ぶ。
我々は、データが純粋なランダムノイズになるまで、より高速で安価にノイズを付加するアプローチを提案する。
提案手法は,拡散過程と学習可能な暗黙的前処理の両方によって付与された逆自動エンコーダとしてキャスト可能であることを示す。
論文 参考訳(メタデータ) (2022-02-19T20:18:49Z) - Mean-Shifted Contrastive Loss for Anomaly Detection [34.97652735163338]
そこで本研究では,集中損失法とコントラスト損失法の両方の障害モードを克服できる新たな損失関数を提案する。
私たちの改善は、$textitMean-Shifted Contrastive Loss$に基づいて、新しい異常検出アプローチをもたらします。
提案手法は,ROC-AUC$9.5%を含む複数のベンチマークにおいて,最先端の異常検出性能を実現する。
論文 参考訳(メタデータ) (2021-06-07T17:58:03Z) - Continual Learning for Fake Audio Detection [62.54860236190694]
本論文では,連続学習に基づく手法である忘れずに偽物を検出することで,モデルに新たなスプーフィング攻撃をインクリメンタルに学習させる手法を提案する。
ASVspoof 2019データセットで実験が行われる。
論文 参考訳(メタデータ) (2021-04-15T07:57:05Z) - Time-Series Imputation with Wasserstein Interpolation for Optimal
Look-Ahead-Bias and Variance Tradeoff [66.59869239999459]
ファイナンスでは、ポートフォリオ最適化モデルをトレーニングする前に、損失の計算を適用することができる。
インキュベーションのために全データセットを使用するルックアヘッドバイアスと、トレーニングデータのみを使用することによるインキュベーションの大きなばらつきとの間には、本質的にトレードオフがある。
提案手法は,提案法における差分とルックアヘッドバイアスのトレードオフを最適に制御するベイズ後部コンセンサス分布である。
論文 参考訳(メタデータ) (2021-02-25T09:05:35Z) - Federated Survival Analysis with Discrete-Time Cox Models [0.46331617589391827]
私たちは、フェデレートラーニング(FL)を用いて、異なるセンターに位置する分散データセットから機械学習モデルを構築します。
得られたモデルが、いくつかの悪い設定で重要なパフォーマンス損失を被る可能性があることを示す。
このアプローチを用いて、合成データに基づく標準FL技術と、The Cancer Genome Atlas (TCGA)による実世界のデータセットを用いて生存モデルを訓練する。
論文 参考訳(メタデータ) (2020-06-16T08:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。