論文の概要: Generative diffusion model with inverse renormalization group flows

• arxiv url: http://arxiv.org/abs/2501.09064v1
• Date: Wed, 15 Jan 2025 19:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:08:42.989711
• Title: Generative diffusion model with inverse renormalization group flows
• Title（参考訳）: 逆再正規化群フローをもつ生成拡散モデル
• Authors: Kanta Masuki, Yuto Ashida,
• Abstract要約: 拡散モデルは、ホワイトノイズによって破損したサンプルをデノナイズすることでデータを生成する。 本稿では,データ分散のマルチスケールな性質を利用する正規化群に基づく拡散モデルを提案する。 タンパク質構造予測および画像生成への応用を通じて,モデルの汎用性を検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Diffusion models represent a class of generative models that produce data by denoising a sample corrupted by white noise. Despite the success of diffusion models in computer vision, audio synthesis, and point cloud generation, so far they overlook inherent multiscale structures in data and have a slow generation process due to many iteration steps. In physics, the renormalization group offers a fundamental framework for linking different scales and giving an accurate coarse-grained model. Here we introduce a renormalization group-based diffusion model that leverages multiscale nature of data distributions for realizing a high-quality data generation. In the spirit of renormalization group procedures, we define a flow equation that progressively erases data information from fine-scale details to coarse-grained structures. Through reversing the renormalization group flows, our model is able to generate high-quality samples in a coarse-to-fine manner. We validate the versatility of the model through applications to protein structure prediction and image generation. Our model consistently outperforms conventional diffusion models across standard evaluation metrics, enhancing sample quality and/or accelerating sampling speed by an order of magnitude. The proposed method alleviates the need for data-dependent tuning of hyperparameters in the generative diffusion models, showing promise for systematically increasing sample efficiency based on the concept of the renormalization group.
• Abstract（参考訳）: 拡散モデル(英: Diffusion model)は、ホワイトノイズによって劣化したサンプルを識別することでデータを生成する生成モデルのクラスを表す。 コンピュータビジョン、オーディオ合成、ポイントクラウド生成における拡散モデルの成功にもかかわらず、これまでのところ、彼らはデータに固有のマルチスケール構造を見落とし、多くのイテレーションステップのために遅い生成プロセスを持っている。 物理学において、再正規化群は異なるスケールをリンクし、正確な粗粒度モデルを与えるための基本的なフレームワークを提供する。 本稿では,データ分散のマルチスケール性を活用して高品質なデータ生成を実現する再正規化群に基づく拡散モデルを提案する。 正規化群プロシージャの精神では、細部から粗粒構造までデータ情報を段階的に消去するフロー方程式を定義する。 正規化群の流れを逆転させることで、我々は粗い方法で高品質なサンプルを生成することができる。 タンパク質構造予測および画像生成への応用を通じて,モデルの汎用性を検証する。 本モデルでは, 標準評価指標における従来の拡散モデルより常に優れており, サンプル品質の向上や, サンプリング速度の大幅な向上が図られている。 提案手法により, 生成拡散モデルにおけるハイパーパラメータのデータ依存的チューニングの必要性が軽減され, 再正規化群の概念に基づく標本効率の体系的向上が期待できる。

関連論文リスト

• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• Generative Modeling with Diffusion [0.0]
  新しいサンプルを生成する方法として拡散モデルを導入する。 ノーミングとデノゲーションのプロセスを定義し、拡散モデルを用いてトレーニングと生成を行うアルゴリズムを導入します。
  論文  参考訳（メタデータ） (2024-12-14T20:04:46Z)
• Non-Normal Diffusion Models [3.5534933448684134]
  拡散モデルは、データをノイズに変える過程を漸進的に反転させることでサンプルを生成する。 ステップサイズが 0 となると、逆過程はこれらの増分分布に不変であることを示す。 本稿では,これらのモデルが標準画像データセット上での密度推定および生成モデリングタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2024-12-10T21:31:12Z)
• Discrete Copula Diffusion [44.96934660818884]
  離散拡散モデルがより少ないステップで強い性能を達成するのを防ぐ基本的な制限を同定する。 我々は,コプラモデルと呼ばれる別の深層生成モデルを導入することで,欠落した依存情報を補うための一般的なアプローチを提案する。 本手法は拡散モデルとコプラモデルの両方を微調整する必要はないが, 高い品質のサンプル生成が可能であり, 分解ステップが著しく少ない。
  論文  参考訳（メタデータ） (2024-10-02T18:51:38Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
  拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。 本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。 周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
  論文  参考訳（メタデータ） (2024-03-26T16:57:55Z)
• Renormalizing Diffusion Models [0.7252027234425334]
  拡散モデルを用いて、統計および量子場理論の逆再正規化群フローを学習する。 我々の研究は、多スケール拡散モデルの解釈を提供し、新しい性質を持つべき拡散モデルに対する物理的に着想を得た提案を与える。
  論文  参考訳（メタデータ） (2023-08-23T18:02:31Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)
• Diffusion Models in Vision: A Survey [73.10116197883303]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。