論文の概要: High Noise Scheduling is a Must

• arxiv url: http://arxiv.org/abs/2404.06353v1
• Date: Tue, 9 Apr 2024 14:44:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 14:21:03.565850
• Title: High Noise Scheduling is a Must
• Title（参考訳）: 高騒音スケジューリングは必要である
• Authors: Mahmut S. Gokmen, Cody Bumgardner, Jie Zhang, Ge Wang, Jin Chen,
• Abstract要約: 一貫性モデルは、画像生成の能力が高く、高度な技術を通じてサンプリングステップを1ステップに進める。 現在の進歩は、一貫性トレーニングのテクニックを一歩前進させ、トレーニングの制限を取り除く。 本研究では, 騒音分布における高騒音レベルと低騒音レベルのバランスについて検討し, 安定性を維持するための騒音分布を提供した。
• 参考スコア（独自算出の注目度）: 7.694256285730863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consistency models possess high capabilities for image generation, advancing sampling steps to a single step through their advanced techniques. Current advancements move one step forward consistency training techniques and eliminates the limitation of distillation training. Even though the proposed curriculum and noise scheduling in improved training techniques yield better results than basic consistency models, it lacks well balanced noise distribution and its consistency between curriculum. In this study, it is investigated the balance between high and low noise levels in noise distribution and offered polynomial noise distribution to maintain the stability. This proposed polynomial noise distribution is also supported with a predefined Karras noises to prevent unique noise levels arises with Karras noise generation algorithm. Furthermore, by elimination of learned noisy steps with a curriculum based on sinusoidal function increase the performance of the model in denoising. To make a fair comparison with the latest released consistency model training techniques, experiments are conducted with same hyper-parameters except curriculum and noise distribution. The models utilized during experiments are determined with low depth to prove the robustness of our proposed technique. The results show that the polynomial noise distribution outperforms the model trained with log-normal noise distribution, yielding a 33.54 FID score after 100,000 training steps with constant discretization steps. Additionally, the implementation of a sinusoidal-based curriculum enhances denoising performance, resulting in a FID score of 30.48.
• Abstract（参考訳）: 一貫性モデルは、画像生成の能力が高く、高度な技術を通じてサンプリングステップを1ステップに進める。 現在の進歩は、一段前進し、蒸留訓練の限界をなくす。 改良された訓練手法におけるカリキュラムとノイズスケジューリングは、基本的な一貫性モデルよりも優れた結果をもたらすが、十分なバランスの取れたノイズ分布とカリキュラム間の一貫性は欠如している。 本研究では,高雑音レベルと低雑音レベルのバランスについて検討し,安定性を維持するために多項式雑音分布を提供した。 提案する多項式雑音分布は,カーラス雑音発生アルゴリズムで発生する一意ノイズレベルを防止するために,予め定義されたカーラス雑音も支持する。 さらに、正弦波関数に基づくカリキュラムによる学習ノイズステップの除去により、復調時のモデルの性能が向上する。 最新の整合モデルトレーニング手法と公正に比較するために,カリキュラムと雑音分布を除いて,同じハイパーパラメータで実験を行う。 実験で利用したモデルは,提案手法の堅牢性を証明するために,低深度で決定される。 その結果、多項式雑音分布は対数正規雑音分布で訓練されたモデルよりも優れており、連続的な離散化ステップを施した10万のトレーニングステップの後、33.54のFIDスコアが得られることがわかった。 さらに、正弦波ベースのカリキュラムの実装により、ノイズ発生性能が向上し、FIDスコアは30.48となった。

関連論文リスト

• Bayesian Inference of General Noise Model Parameters from Surface Code's Syndrome Statistics [0.0]
  表面符号のテンソルネットワークシミュレータを統合する一般雑音モデルベイズ推論法を提案する。 雑音パラメータが一定であり変化しない定常雑音に対しては,マルコフ連鎖モンテカルロに基づく手法を提案する。 より現実的な状況である時間変化ノイズに対しては、シーケンシャルなモンテカルロに基づく別の手法を導入する。
  論文  参考訳（メタデータ） (2024-06-13T10:26:04Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)
• Not All Steps are Equal: Efficient Generation with Progressive Diffusion Models [62.155612146799314]
  ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。 初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。 タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• May the Noise be with you: Adversarial Training without Adversarial Examples [3.4673556247932225]
  我々は、敵の訓練を受けずに敵の訓練を受けたモデルを得ることができるかという疑問を調査する。 提案手法は,訓練時にNNモデルの層にガウス雑音を埋め込むことによって固有性を取り入れる。 我々の研究は、全く異なるアプローチで敵の訓練を受けたネットワークに貢献し、敵の訓練と経験的に類似した堅牢性を持つ。
  論文  参考訳（メタデータ） (2023-12-12T08:22:28Z)
• Realistic Noise Synthesis with Diffusion Models [68.48859665320828]
  Deep Image Denoisingモデルは、しばしば高品質なパフォーマンスのために大量のトレーニングデータに依存します。 本稿では,拡散モデル,すなわちRealistic Noise Synthesize Diffusor(RNSD)を用いて現実的な雑音を合成する新しい手法を提案する。 RNSDは、より現実的なノイズや空間的相関を複数の周波数で生成できるような、ガイド付きマルチスケールコンテンツを組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-23T12:56:01Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Self-Adapting Noise-Contrastive Estimation for Energy-Based Models [0.0]
  ノイズコントラスト推定(NCE)を用いたトレーニングエネルギーベースモデルは理論的には実現可能であるが、実際は困難である。 従来の研究は、別個の生成モデルとしてノイズ分布をモデル化し、EBMでこのノイズモデルを同時に訓練してきた。 本論文では,EMMの静的なインスタンスを学習軌道に沿って雑音分布として利用する自己適応型NCEアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-03T15:17:43Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Denoising Distantly Supervised Named Entity Recognition via a Hypergeometric Probabilistic Model [26.76830553508229]
  ハイパージオメトリ・ラーニング(HGL)は、遠距離教師付きエンティティ認識のための認知アルゴリズムである。 HGLはノイズ分布とインスタンスレベルの信頼性の両方を考慮に入れている。 実験により、HGLは遠方の監督から取得した弱いラベル付きデータを効果的に復調できることが示された。
  論文  参考訳（メタデータ） (2021-06-17T04:01:25Z)
• Noise Estimation for Generative Diffusion Models [91.22679787578438]
  そこで本研究では,任意のステップの雑音パラメータを調整可能な,単純で汎用的な学習手法を提案する。 私たちのアプローチは計算コストが無視できるものです。
  論文  参考訳（メタデータ） (2021-04-06T15:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。