論文の概要: EvolvED: Evolutionary Embeddings to Understand the Generation Process of Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.17462v2
• Date: Wed, 11 Dec 2024 09:23:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:59:55.636764
• Title: EvolvED: Evolutionary Embeddings to Understand the Generation Process of Diffusion Models
• Title（参考訳）: Evolved: 拡散モデルの生成過程を理解するための進化的埋め込み
• Authors: Vidya Prasad, Hans van Gorp, Christina Humer, Ruud J. G. van Sloun, Anna Vilanova, Nicola Pezzotti,
• Abstract要約: 拡散モデルは、ノイズから画像を生成するために反復的な改善に依存している。 Evolvedは拡散モデルにおける反復生成過程の全体像を提示する。 Central to Evolvedは、意味的関係を維持しながら反復的なステップを符号化する新しい進化的埋め込みアルゴリズムである。
• 参考スコア（独自算出の注目度）: 14.582985391135232
• License:
• Abstract: Diffusion models, widely used in image generation, rely on iterative refinement to generate images from noise. Understanding this data evolution is important for model development and interpretability, yet challenging due to its high-dimensional, iterative nature. Prior works often focus on static or instance-level analyses, missing the iterative and holistic aspects of the generative path. While dimensionality reduction can visualize image evolution for few instances, it does preserve the iterative structure. To address these gaps, we introduce EvolvED, a method that presents a holistic view of the iterative generative process in diffusion models. EvolvED goes beyond instance exploration by leveraging predefined research questions to streamline generative space exploration. Tailored prompts aligned with these questions are used to extract intermediate images, preserving iterative context. Targeted feature extractors trace the evolution of key image attribute evolution, addressing the complexity of high-dimensional outputs. Central to EvolvED is a novel evolutionary embedding algorithm that encodes iterative steps while maintaining semantic relations. It enhances the visualization of data evolution by clustering semantically similar elements within each iteration with t-SNE, grouping elements by iteration, and aligning an instance's elements across iterations. We present rectilinear and radial layouts to represent iterations and support exploration. We apply EvolvED to diffusion models like GLIDE and Stable Diffusion, demonstrating its ability to provide valuable insights into the generative process.
• Abstract（参考訳）: 拡散モデルは画像生成に広く用いられているが、ノイズから画像を生成するために反復的な洗練に依存している。 このデータ進化を理解することは、モデル開発と解釈可能性にとって重要であるが、高次元の反復的な性質のため難しい。 先行研究は、しばしば静的またはインスタンスレベルの分析に焦点を当て、生成経路の反復的および全体論的側面を欠いている。 次元の減少は、少数のケースで画像の進化を可視化することができるが、反復的な構造を保っている。 これらのギャップに対処するため,拡散モデルにおける反復生成過程の全体像を示す手法であるEvolvedを紹介した。 Evolvedは、事前に定義された研究の質問を活用して、生成的宇宙探査を効率化することで、インスタンス探索を越えている。 これらの質問に一致した調整されたプロンプトは、中間画像の抽出に使用され、反復的な文脈を保存する。 ターゲットとなる特徴抽出器は、高次元出力の複雑さに対処するため、キー画像属性の進化を辿る。 Central to Evolvedは、意味的関係を維持しながら反復的なステップを符号化する新しい進化的埋め込みアルゴリズムである。 これは、各イテレーション内で意味論的に類似した要素をt-SNEでクラスタリングし、イテレーションごとに要素をグループ化し、イテレーション間でインスタンスの要素を調整することによって、データ進化の可視化を強化する。 反復を表現し,探索を支援するために,リチリニアおよびラジアルレイアウトを提案する。 EvolvedをGLIDEやStable Diffusionのような拡散モデルに適用し、生成プロセスに関する貴重な洞察を提供する能力を示す。

関連論文リスト

• Heuristically Adaptive Diffusion-Model Evolutionary Strategy [1.8299322342860518]
  拡散モデル(Diffusion Models)は、生成モデルにおいて重要な進歩を示す。 本研究は,拡散モデルと進化的アルゴリズムの基本的な関係を明らかにする。 我々のフレームワークは、進化的最適化プロセスにおいて、柔軟性、精度、制御性を高めたアルゴリズム上の大きな遷移を示す。
  論文  参考訳（メタデータ） (2024-11-20T16:06:28Z)
• Tracing the Roots: Leveraging Temporal Dynamics in Diffusion Trajectories for Origin Attribution [29.744990195972587]
  拡散モデルは画像合成に革命をもたらし、近年は重要な研究の関心を集めている。 拡散軌跡に基づく識別アルゴリズムについて検討する。 われわれの手法は、分類に活用できるステップにまたがるパターンの存在を実証する。
  論文  参考訳（メタデータ） (2024-11-12T00:20:11Z)
• Diffusion Models are Evolutionary Algorithms [1.8299322342860518]
  拡散モデルは、自然に選択、突然変異、生殖隔離を含む進化的アルゴリズムを実行することを示す。 本稿では,反復的 denoising を利用した進化的アルゴリズムである拡散進化法を提案する。 また、高次元複素パラメータ空間における進化的タスクの解を求めるラテント空間拡散進化についても紹介する。
  論文  参考訳（メタデータ） (2024-10-03T14:47:46Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Varying Manifolds in Diffusion: From Time-varying Geometries to Visual Saliency [25.632973225129728]
  前方拡散過程と逆生成過程が多様体上の一連の分布を構成する拡散モデルの幾何学的性質について検討する。 生成速度は画像成分の視覚的明瞭度などの直感的な視覚特性と高い相関性を示す。 本稿では,画像成分の生成速度を時間とともに推定し,生成曲線を導出する効率的かつ微分可能な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-07T07:32:41Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• A Phase Transition in Diffusion Models Reveals the Hierarchical Nature of Data [51.03144354630136]
  最近の進歩は、拡散モデルが高品質な画像を生成することを示している。 我々はこの現象を階層的なデータ生成モデルで研究する。 t$の後に作用する後方拡散過程は相転移によって制御される。
  論文  参考訳（メタデータ） (2024-02-26T19:52:33Z)
• Iterative Token Evaluation and Refinement for Real-World Super-Resolution [77.74289677520508]
  実世界の画像超解像(RWSR)は、低品質(LQ)画像が複雑で未同定の劣化を起こすため、長年にわたる問題である。 本稿では,RWSRのための反復的トークン評価・リファインメントフレームワークを提案する。 ITERはGAN(Generative Adversarial Networks)よりも訓練が容易であり,連続拡散モデルよりも効率的であることを示す。
  論文  参考訳（メタデータ） (2023-12-09T17:07:32Z)
• Effective Data Augmentation With Diffusion Models [65.09758931804478]
  我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。 本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。 本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
  論文  参考訳（メタデータ） (2023-02-07T20:42:28Z)
• Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
  解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。 本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
  論文  参考訳（メタデータ） (2020-11-24T02:18:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。