論文の概要: RCDM: Enabling Robustness for Conditional Diffusion Model

• arxiv url: http://arxiv.org/abs/2408.02710v1
• Date: Mon, 5 Aug 2024 13:12:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 16:08:09.251655
• Title: RCDM: Enabling Robustness for Conditional Diffusion Model
• Title（参考訳）: RCDM:条件付き拡散モデルにおけるロバスト性の実現
• Authors: Weifeng Xu, Xiang Zhu, Xiaoyong Li,
• Abstract要約: 条件拡散モデル(CDM)は、より多くの制御を提供することで標準拡散モデルを強化する。 CDMの逆過程における不正確な条件入力は、ニューラルネットワークの固定エラーを生じさせるのが容易である。 本稿では,ロバスト条件拡散モデル(RCDM)を提案する。
• 参考スコア（独自算出の注目度）: 2.4915590770454035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The conditional diffusion model (CDM) enhances the standard diffusion model by providing more control, improving the quality and relevance of the outputs, and making the model adaptable to a wider range of complex tasks. However, inaccurate conditional inputs in the inverse process of CDM can easily lead to generating fixed errors in the neural network, which diminishes the adaptability of a well-trained model. The existing methods like data augmentation, adversarial training, robust optimization can improve the robustness, while they often face challenges such as high computational complexity, limited applicability to unknown perturbations, and increased training difficulty. In this paper, we propose a lightweight solution, the Robust Conditional Diffusion Model (RCDM), based on control theory to dynamically reduce the impact of noise and significantly enhance the model's robustness. RCDM leverages the collaborative interaction between two neural networks, along with optimal control strategies derived from control theory, to optimize the weights of two networks during the sampling process. Unlike conventional techniques, RCDM establishes a mathematical relationship between fixed errors and the weights of the two neural networks without incurring additional computational overhead. Extensive experiments were conducted on MNIST and CIFAR-10 datasets, and the results demonstrate the effectiveness and adaptability of our proposed model.
• Abstract（参考訳）: 条件拡散モデル(CDM)は、より多くの制御を提供し、出力の品質と関連性を改善し、より広範な複雑なタスクに適応させることにより、標準拡散モデルを強化する。 しかし、CDMの逆過程における不正確な条件入力は、ニューラルネットワークの固定エラーを生じさせやすく、十分に訓練されたモデルの適応性を低下させる。 データ強化、逆行訓練、堅牢な最適化といった既存の手法は、堅牢性を改善する一方で、高い計算複雑性、未知の摂動への適用可能性の制限、トレーニングの困難化といった課題に直面していることが多い。 本稿では,制御理論に基づくロバスト条件拡散モデル (RCDM) を提案する。 RCDMは、2つのニューラルネットワーク間の協調的相互作用と制御理論から導かれた最適制御戦略を利用して、サンプリングプロセス中の2つのネットワークの重みを最適化する。 従来の手法とは異なり、RCDMは、追加の計算オーバーヘッドを発生させることなく、固定エラーと2つのニューラルネットワークの重みの間の数学的関係を確立する。 MNISTおよびCIFAR-10データセットを用いて大規模な実験を行い,本モデルの有効性と適応性を示した。

関連論文リスト

• Reservoir computing for system identification and predictive control with limited data [3.1484174280822845]
  我々は、ベンチマーク制御システムの力学を学習し、モデル予測制御(MPC)の代理モデルとして機能するRNN変種の評価を行う。 エコー状態ネットワーク(ESN)は、計算複雑性の低減、より有効な予測時間、MPC目的関数のコスト削減など、競合するアーキテクチャよりも様々な利点がある。
  論文  参考訳（メタデータ） (2024-10-23T21:59:07Z)
• RadioDiff: An Effective Generative Diffusion Model for Sampling-Free Dynamic Radio Map Construction [42.596399621642234]
  無線マップ(RM)は、位置のみに基づいてパスロスを得ることができる有望な技術である。 本稿では, サンプリングフリーのRM構造を条件付き生成問題としてモデル化し, 高品質なRM構造を実現するためにRadioDiffという名前の拡散拡散法を提案する。 実験の結果,提案したRadioDiffは,3つの精度,構造的類似度,ピーク信号対雑音比の3つの指標において,最先端性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T08:02:00Z)
• A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
  安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。 本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-31T21:47:05Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Quantized Adaptive Subgradient Algorithms and Their Applications [39.103587572626026]
  本稿では、分散トレーニングのための量子化された複合ミラー降下適応次数 (QCMD adagrad) と量子化された正規化された2次平均適応次数 (QRDA adagrad) を提案する。 量子化勾配に基づく適応学習率行列を構築し、通信コスト、精度、モデル間隔のバランスをとる。
  論文  参考訳（メタデータ） (2022-08-11T04:04:03Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Model-Free Voltage Regulation of Unbalanced Distribution Network Based on Surrogate Model and Deep Reinforcement Learning [9.984416150031217]
  本稿では,サロゲートモデルと深部強化学習(DRL)に基づくモデルフリーアプローチを開発する。 また、バランスの取れない3段階シナリオに対応するように拡張しました。
  論文  参考訳（メタデータ） (2020-06-24T18:49:41Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。