論文の概要: Improving Diffusion Models's Data-Corruption Resistance using Scheduled Pseudo-Huber Loss

• arxiv url: http://arxiv.org/abs/2403.16728v1
• Date: Mon, 25 Mar 2024 13:02:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 20:03:02.338714
• Title: Improving Diffusion Models's Data-Corruption Resistance using Scheduled Pseudo-Huber Loss
• Title（参考訳）: 擬似空間損失スケジューリングによる拡散モデルの耐食性向上
• Authors: Artem Khrapov, Vadim Popov, Tasnima Sadekova, Assel Yermekova, Mikhail Kudinov,
• Abstract要約: 本稿では,アウトレーヤに頑健でありながら,生成したデータの高品質な保存が可能な拡散損失関数を提案する。 時間依存パラメータによる擬似ハッカ損失は、画像領域と音声領域の両方で劣化したデータセットに対してより良い性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 5.539965805440292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models are known to be vulnerable to outliers in training data. In this paper we study an alternative diffusion loss function, which can preserve the high quality of generated data like the original squared $L_{2}$ loss while at the same time being robust to outliers. We propose to use pseudo-Huber loss function with a time-dependent parameter to allow for the trade-off between robustness on the most vulnerable early reverse-diffusion steps and fine details restoration on the final steps. We show that pseudo-Huber loss with the time-dependent parameter exhibits better performance on corrupted datasets in both image and audio domains. In addition, the loss function we propose can potentially help diffusion models to resist dataset corruption while not requiring data filtering or purification compared to conventional training algorithms.
• Abstract（参考訳）: 拡散モデルは、トレーニングデータの異常値に対して脆弱であることが知られている。 本稿では,元の2乗の$L_{2}$損失のような生成データの品質を保ちながら,出力値に頑健な代替拡散損失関数について検討する。 本稿では,最も脆弱な初期逆拡散ステップにおけるロバスト性間のトレードオフと,最終ステップにおける詳細復元を可能にするために,時間依存パラメータを用いた擬似ハッカ損失関数を提案する。 時間依存パラメータによる擬似ハッカ損失は、画像領域と音声領域の両方で劣化したデータセットに対してより良い性能を示すことを示す。 さらに,提案する損失関数は,従来のトレーニングアルゴリズムに比べてデータフィルタリングや浄化を必要とせず,データセットの破損に抵抗する拡散モデルに役立つ可能性がある。

関連論文リスト

• Uncertainty-based Offline Variational Bayesian Reinforcement Learning for Robustness under Diverse Data Corruptions [8.666879925570331]
  実世界のオフラインデータセットは、しばしばセンサーの故障や悪意のある攻撃によるデータ破損にさらされる。 既存の手法は、破損したデータによって引き起こされる高い不確実性の下で堅牢なエージェントを学ぶのに苦労している。 オフラインRL(TRACER)に対するロバストな変分ベイズ推定法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T09:28:24Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
  アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散 本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:22:12Z)
• Recovering high-quality FODs from a reduced number of diffusion-weighted images using a model-driven deep learning architecture [0.0]
  モデル駆動型深層学習FOD再構成アーキテクチャを提案する。 ネットワークが生成する中間および出力FODが、入力されたDWI信号と一致していることを保証する。 モデルに基づくディープラーニングアーキテクチャは,最先端のFOD超解像ネットワークであるFOD-Netと比較して,競争性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-07-28T02:47:34Z)
• DynImp: Dynamic Imputation for Wearable Sensing Data Through Sensory and Temporal Relatedness [78.98998551326812]
  従来の手法では、データの時系列ダイナミクスと、異なるセンサーの特徴の関連性の両方をめったに利用していない、と我々は主張する。 我々はDynImpと呼ばれるモデルを提案し、特徴軸に沿って近接する隣人と異なる時間点の欠如を扱う。 本手法は, 関連センサのマルチモーダル性特性を活かし, 履歴時系列のダイナミックスから学習し, 極端に欠落した状態でデータを再構築することができることを示す。
  論文  参考訳（メタデータ） (2022-09-26T21:59:14Z)
• Truncated Diffusion Probabilistic Models and Diffusion-based Adversarial Auto-Encoders [137.1060633388405]
  拡散に基づく生成モデルは、逆拡散連鎖を推論してデータを生成する方法を学ぶ。 我々は、データが純粋なランダムノイズになるまで、より高速で安価にノイズを付加するアプローチを提案する。 提案手法は,拡散過程と学習可能な暗黙的前処理の両方によって付与された逆自動エンコーダとしてキャスト可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-19T20:18:49Z)
• Mean-Shifted Contrastive Loss for Anomaly Detection [34.97652735163338]
  そこで本研究では,集中損失法とコントラスト損失法の両方の障害モードを克服できる新たな損失関数を提案する。 私たちの改善は、$textitMean-Shifted Contrastive Loss$に基づいて、新しい異常検出アプローチをもたらします。 提案手法は,ROC-AUC$9.5%を含む複数のベンチマークにおいて,最先端の異常検出性能を実現する。
  論文  参考訳（メタデータ） (2021-06-07T17:58:03Z)
• Continual Learning for Fake Audio Detection [62.54860236190694]
  本論文では,連続学習に基づく手法である忘れずに偽物を検出することで,モデルに新たなスプーフィング攻撃をインクリメンタルに学習させる手法を提案する。 ASVspoof 2019データセットで実験が行われる。
  論文  参考訳（メタデータ） (2021-04-15T07:57:05Z)
• Time-Series Imputation with Wasserstein Interpolation for Optimal Look-Ahead-Bias and Variance Tradeoff [66.59869239999459]
  ファイナンスでは、ポートフォリオ最適化モデルをトレーニングする前に、損失の計算を適用することができる。 インキュベーションのために全データセットを使用するルックアヘッドバイアスと、トレーニングデータのみを使用することによるインキュベーションの大きなばらつきとの間には、本質的にトレードオフがある。 提案手法は,提案法における差分とルックアヘッドバイアスのトレードオフを最適に制御するベイズ後部コンセンサス分布である。
  論文  参考訳（メタデータ） (2021-02-25T09:05:35Z)
• Federated Survival Analysis with Discrete-Time Cox Models [0.46331617589391827]
  私たちは、フェデレートラーニング(FL)を用いて、異なるセンターに位置する分散データセットから機械学習モデルを構築します。 得られたモデルが、いくつかの悪い設定で重要なパフォーマンス損失を被る可能性があることを示す。 このアプローチを用いて、合成データに基づく標準FL技術と、The Cancer Genome Atlas (TCGA)による実世界のデータセットを用いて生存モデルを訓練する。
  論文  参考訳（メタデータ） (2020-06-16T08:53:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。