論文の概要: Linear combinations of latents in diffusion models: interpolation and beyond
- arxiv url: http://arxiv.org/abs/2408.08558v1
- Date: Fri, 16 Aug 2024 06:43:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 16:28:41.220798
- Title: Linear combinations of latents in diffusion models: interpolation and beyond
- Title（参考訳）: 拡散モデルにおける潜伏剤の線形結合:補間とそれ以上
- Authors: Erik Bodin, Henry Moss, Carl Henrik Ek,
- Abstract要約: 組み合わせ生成変数(COG)は、この問題に対処する新しいメソッドであり、実装が容易だが、現在のメソッドにマッチするか改善される。
COGは一般の線型結合に対処し、また、我々が示したように、潜在空間の部分空間の定義を含む他の操作もサポートする。
- 参考スコア（独自算出の注目度）: 6.38754204972456
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative models are crucial for applications like data synthesis and augmentation. Diffusion, Flow Matching and Continuous Normalizing Flows have shown effectiveness across various modalities, and rely on Gaussian latent variables for generation. As any generated object is directly associated with a particular latent variable, we can manipulate the variables to exert control over the generation process. However, standard approaches for combining latent variables, such as spherical interpolation, only apply or work well in special cases. Moreover, current methods for obtaining low-dimensional representations of the data, important for e.g. surrogate models for search and creative applications, are network and data modality specific. In this work we show that the standard methods to combine variables do not yield intermediates following the distribution the models are trained to expect. We propose Combination of Gaussian variables (COG), a novel interpolation method that addresses this, is easy to implement yet matches or improves upon current methods. COG addresses linear combinations in general and, as we demonstrate, also supports other operations including e.g. defining subspaces of the latent space, simplifying the creation of expressive low-dimensional spaces of high-dimensional objects using generative models based on Gaussian latents.
- Abstract（参考訳）: データ合成や拡張といったアプリケーションには、生成モデルが不可欠です。
拡散、フローマッチング、連続正規化フローは様々なモードで有効性を示し、生成にはガウス潜在変数に依存している。
生成されたオブジェクトは特定の潜在変数と直接関連付けられているので、変数を操作して生成プロセスを制御することができます。
しかし、球面補間のような潜伏変数を組み合わせるための標準的なアプローチは、特別な場合のみ適用または有効である。
さらに,探索および創造的アプリケーションのための代理モデルとして重要な,データの低次元表現を得るための現在の手法は,ネットワークとデータモダリティに特化している。
本研究では,変数を結合する標準的な手法が,モデルが期待する分布に従って中間子を生成できないことを示す。
本稿では,この問題に対処する新しい補間法であるガウス変数の組合せ(COG)を提案する。
COG は一般の線型結合に対処し、また、私たちが証明したように、潜在空間の部分空間を g で定義するなど他の操作もサポートし、ガウス潜在空間に基づく生成モデルを用いた高次元オブジェクトの表現的低次元空間の作成を単純化する。
関連論文リスト
- Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。
シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。
実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-08-13T08:09:05Z) - Trivialized Momentum Facilitates Diffusion Generative Modeling on Lie Groups [37.78638937228254]
本稿では、自明化と呼ばれる手法がユークリッド空間における拡散モデルの有効性をリー群に伝達する方法を示す。
モーメント変数は、データ分布と固定されたサンプル分布の間の位置変数の移動を支援するためにアルゴリズムによって導入された。
得られた方法は、タンパク質およびRNAのねじれ角の生成および洗練されたトーラスデータセットに対する最先端の性能を達成する。
論文 参考訳（メタデータ） (2024-05-25T23:53:07Z) - Combining additivity and active subspaces for high-dimensional Gaussian
process modeling [2.7140711924836816]
本稿では,高次元ガウス過程モデリングと多面性戦略を組み合わせる方法について述べる。
高次元ガウス過程モデリングへの我々の貢献は、これらを多面的戦略と組み合わせ、合成関数やデータセットの実験を通じて利点を示すことである。
論文 参考訳（メタデータ） (2024-02-06T08:49:27Z) - Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image
Compression [63.56922682378755]
本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。
提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。
実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
論文 参考訳（メタデータ） (2023-08-17T01:34:51Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳（メタデータ） (2023-07-23T03:53:53Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - High-Dimensional Undirected Graphical Models for Arbitrary Mixed Data [2.2871867623460207]
多くのアプリケーションでは、データは異なるタイプの変数にまたがる。
最近の進歩は、バイナリ連続ケースにどのように取り組めるかを示しているが、一般的な混合変数型構造は依然として困難である。
完全混合型の変数を持つデータに対して,フレキシブルでスケーラブルな手法を提案する。
論文 参考訳（メタデータ） (2022-11-21T18:21:31Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-13T18:05:36Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳（メタデータ） (2020-03-04T08:15:06Z) - Modeling Continuous Stochastic Processes with Dynamic Normalizing Flows [40.9137348900942]
ウィナー過程の微分変形によって駆動される新しいタイプの流れを提案する。
その結果,観測可能なプロセスが基本プロセスの魅力的な特性の多くを継承するリッチ時系列モデルが得られた。
論文 参考訳（メタデータ） (2020-02-24T20:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。