論文の概要: Distillation of Discrete Diffusion through Dimensional Correlations

• arxiv url: http://arxiv.org/abs/2410.08709v2
• Date: Thu, 30 Jan 2025 04:41:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:12:29.226981
• Title: Distillation of Discrete Diffusion through Dimensional Correlations
• Title（参考訳）: 次元相関による離散拡散の蒸留
• Authors: Satoshi Hayakawa, Yuhta Takida, Masaaki Imaizumi, Hiromi Wakaki, Yuki Mitsufuji,
• Abstract要約: 「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。 ロス関数」により、混合モデルは、次元相関を学習することで、そのような多くのステップの従来のモデルをほんの数ステップに蒸留することができる。 実験により,画像領域と言語領域をまたいだ事前学習した離散拡散モデルの蒸留において,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 21.078500510691747
• License:
• Abstract: Diffusion models have demonstrated exceptional performances in various fields of generative modeling, but suffer from slow sampling speed due to their iterative nature. While this issue is being addressed in continuous domains, discrete diffusion models face unique challenges, particularly in capturing dependencies between elements (e.g., pixel relationships in image, sequential dependencies in language) mainly due to the computational cost of processing high-dimensional joint distributions. In this paper, (i) we propose "mixture" models for discrete diffusion that are capable of treating dimensional correlations while remaining scalable, and (ii) we provide a set of loss functions for distilling the iterations of existing models. Two primary theoretical insights underpin our approach: First, conventional models with element-wise independence can well approximate the data distribution, but essentially require many sampling steps. Second, our loss functions enable the mixture models to distill such many-step conventional models into just a few steps by learning the dimensional correlations. Our experimental results show the effectiveness of the proposed method in distilling pretrained discrete diffusion models across image and language domains.
• Abstract（参考訳）: 拡散モデルは、生成モデリングの様々な分野で例外的な性能を示してきたが、反復的な性質のためにサンプリング速度が遅い。 この問題は連続的な領域で解決されているが、離散拡散モデルは、特に高次元の関節分布を処理する計算コストのために、要素間の依存関係(例えば、画像上のピクセル関係、言語におけるシーケンシャルな依存関係)をキャプチャする際、独特な課題に直面している。 本項で述べる。 一 拡張性を維持しながら次元相関を扱える離散拡散のための混合モデルを提案する。 (II)既存のモデルの反復を蒸留するための損失関数のセットを提供する。 まず、要素の独立性を持つ従来のモデルは、データ分布をうまく近似することができるが、基本的には多くのサンプリングステップを必要とする。 第二に、損失関数により、これらの混合モデルにより、次元相関を学習することで、そのような多くのステップの従来のモデルをほんの数ステップに蒸留することができる。 実験により,画像領域と言語領域をまたいだ事前学習した離散拡散モデルの蒸留において,提案手法の有効性が示された。

関連論文リスト

• Continuous Diffusion Model for Language Modeling [57.396578974401734]
  離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• G2D2: Gradient-guided Discrete Diffusion for image inverse problem solving [55.185588994883226]
  本稿では,従来の離散拡散に基づく画像生成モデルを活用することによって,線形逆問題に対処する新しい手法を提案する。 我々の知る限りでは、これは画像逆問題を解決するために離散拡散モデルに基づく先行手法を使う最初のアプローチである。
  論文  参考訳（メタデータ） (2024-10-09T06:18:25Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Multiple-Source Localization from a Single-Snapshot Observation Using Graph Bayesian Optimization [10.011338977476804]
  単一スナップショット観測によるマルチソースのローカライゼーションは、その頻度が原因で特に重要となる。 現在の方法は典型的には欲求選択を利用しており、通常は1つの拡散モデルと結合する。 そこで本研究では,BOSouLというシミュレーション手法を用いて,サンプル効率を近似する手法を提案する。
  論文  参考訳（メタデータ） (2024-03-25T14:46:24Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Infinite-Dimensional Diffusion Models [4.342241136871849]
  拡散に基づく生成モデルを無限次元で定式化し、関数の生成モデルに適用する。 我々の定式化は無限次元の設定においてよく成り立っていることを示し、サンプルから目標測度への次元非依存距離境界を提供する。 また,無限次元拡散モデルの設計ガイドラインも作成する。
  論文  参考訳（メタデータ） (2023-02-20T18:00:38Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。