論文の概要: From Points to Functions: Infinite-dimensional Representations in Diffusion Models

• arxiv url: http://arxiv.org/abs/2210.13774v1
• Date: Tue, 25 Oct 2022 05:30:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 15:26:28.820982
• Title: From Points to Functions: Infinite-dimensional Representations in Diffusion Models
• Title（参考訳）: 点から関数へ:拡散モデルにおける無限次元表現
• Authors: Sarthak Mittal, Guillaume Lajoie, Stefan Bauer, Arash Mehrjou
• Abstract要約: 拡散に基づく生成モデルは、非構造的雑音を複雑な対象分布に反復的に伝達することを学ぶ。 異なる時間ステップからの情報コンテンツを組み合わせることで、下流のタスクをより正確に表現できることが示される。
• 参考スコア（独自算出の注目度）: 23.916417852496608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion-based generative models learn to iteratively transfer unstructured noise to a complex target distribution as opposed to Generative Adversarial Networks (GANs) or the decoder of Variational Autoencoders (VAEs) which produce samples from the target distribution in a single step. Thus, in diffusion models every sample is naturally connected to a random trajectory which is a solution to a learned stochastic differential equation (SDE). Generative models are only concerned with the final state of this trajectory that delivers samples from the desired distribution. Abstreiter et. al showed that these stochastic trajectories can be seen as continuous filters that wash out information along the way. Consequently, it is reasonable to ask if there is an intermediate time step at which the preserved information is optimal for a given downstream task. In this work, we show that a combination of information content from different time steps gives a strictly better representation for the downstream task. We introduce an attention and recurrence based modules that ``learn to mix'' information content of various time-steps such that the resultant representation leads to superior performance in downstream tasks.
• Abstract（参考訳）: 拡散に基づく生成モデルは、単一ステップで対象分布からサンプルを生成するGAN(Generative Adversarial Networks)や変分オートエンコーダ(VAE)のデコーダ(decoder)とは対照的に、非構造的ノイズを複雑なターゲット分布に反復的に伝達することを学ぶ。 したがって、拡散モデルでは、すべてのサンプルは学習確率微分方程式(SDE)の解であるランダムな軌道に自然に接続される。 生成モデルは、所望の分布からサンプルを届けるこの軌道の最終状態にのみ関係している。 Abstreiterなど。 alは、これらの確率的軌道は、その途中で情報を洗い出す連続フィルタと見なせることを示した。 したがって、所定の下流タスクに対して保存情報が最適である中間時間ステップがあるかどうかを問うことは合理的である。 本研究では,異なる時間ステップからの情報コンテントの組み合わせによって,下流タスクの表現が厳密に向上することを示す。 そこで我々は,「混ざり合う」情報内容に様々な時間ステップの注意と繰り返しに基づくモジュールを導入し,結果の表現が下流タスクにおいて優れたパフォーマンスをもたらすことを示す。

関連論文リスト

• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Lecture Notes in Probabilistic Diffusion Models [0.5361320134021585]
  拡散モデルは非平衡熱力学に基づいてゆるやかにモデル化される。 拡散モデルは、元のデータサンプルが属するデータ多様体を学習する。 拡散モデルは、変分オートエンコーダやフローモデルとは異なり、元のデータと同じ次元の潜伏変数を持つ。
  論文  参考訳（メタデータ） (2023-12-16T09:36:54Z)
• Bayesian Flow Networks [4.585102332532472]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• The Score-Difference Flow for Implicit Generative Modeling [1.309716118537215]
  Inlicit Generative Modelingは、対象データ分布と一致する合成データのサンプルを作成することを目的としている。 最近の研究は、合成音源データをターゲット分布へプッシュする観点から、IGG問題にアプローチしている。 任意のターゲット分布とソース分布のスコア差を,Kulback-Leibler分散を最適に低減するフローとして提示する。
  論文  参考訳（メタデータ） (2023-04-25T15:21:12Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Unite and Conquer: Plug & Play Multi-Modal Synthesis using Diffusion Models [54.1843419649895]
  拡散確率モデル(DDPM)に基づく解を提案する。 他の生成モデルよりも拡散モデルを選択する動機は、拡散モデルの柔軟な内部構造に由来する。 提案手法は,複数のサブタスクで訓練された複数の拡散モデルを統一し,組み合わせたタスクを克服する。
  論文  参考訳（メタデータ） (2022-12-01T18:59:55Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。