Fugu-MT 論文翻訳(概要): Enabling Local Editing in Diffusion Models by Joint and Individual Component Analysis

論文の概要: Enabling Local Editing in Diffusion Models by Joint and Individual Component Analysis

arxiv url: http://arxiv.org/abs/2408.16845v2
Date: Mon, 2 Sep 2024 10:33:48 GMT
ステータス: 処理完了
システム内更新日: 2024-09-04 12:24:11.846700
Title: Enabling Local Editing in Diffusion Models by Joint and Individual Component Analysis
Title（参考訳）: 連成・個別成分分析による拡散モデルにおける局所編集の実現
Authors: Theodoros Kouzelis, Manos Plitsis, Mihalis A. Nicolaou, Yannis Panagakis,
Abstract要約: 拡散モデル(DM)の潜伏空間は、GAN(Generative Adversarial Networks)ほど理解されていない。最近の研究は、DMの潜在領域における教師なし意味発見に焦点を当てている。本稿では,事前学習したDMの認知ネットワークから学習した潜在意味論を分解する教師なし手法を提案する。
参考スコア（独自算出の注目度）: 18.755311950243737
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent advances in Diffusion Models (DMs) have led to significant progress in visual synthesis and editing tasks, establishing them as a strong competitor to Generative Adversarial Networks (GANs). However, the latent space of DMs is not as well understood as that of GANs. Recent research has focused on unsupervised semantic discovery in the latent space of DMs by leveraging the bottleneck layer of the denoising network, which has been shown to exhibit properties of a semantic latent space. However, these approaches are limited to discovering global attributes. In this paper we address, the challenge of local image manipulation in DMs and introduce an unsupervised method to factorize the latent semantics learned by the denoising network of pre-trained DMs. Given an arbitrary image and defined regions of interest, we utilize the Jacobian of the denoising network to establish a relation between the regions of interest and their corresponding subspaces in the latent space. Furthermore, we disentangle the joint and individual components of these subspaces to identify latent directions that enable local image manipulation. Once discovered, these directions can be applied to different images to produce semantically consistent edits, making our method suitable for practical applications. Experimental results on various datasets demonstrate that our method can produce semantic edits that are more localized and have better fidelity compared to the state-of-the-art.
Abstract（参考訳）: 拡散モデル(DM)の最近の進歩は、視覚合成と編集タスクの大幅な進歩をもたらし、GAN(Generative Adversarial Networks)の強力なライバルとして確立されている。しかし、DMsの潜伏空間はGANsほどよく理解されていない。最近の研究は、意味的潜在空間の性質を示すことが示されている認知ネットワークのボトルネック層を活用することで、DMの潜在空間における教師なし意味発見に焦点を当てている。しかし、これらのアプローチはグローバル属性の発見に限られている。本稿では、DMにおける局所的な画像操作の課題に対処し、事前学習されたDMの認知ネットワークによって学習された潜在意味を分解する教師なし手法を提案する。任意の画像と関心領域が与えられた場合、関心領域と潜在空間の対応する部分空間の関係を確立するために、認知ネットワークのヤコビアンを利用する。さらに、これらの部分空間の接合部と個々の成分をアンタングルして、局所的な画像操作を可能にする遅延方向を識別する。一度発見されると、これらの方向を異なる画像に適用して意味論的に一貫した編集を行うことができ、本手法は実用的な応用に適している。種々のデータセットに対する実験結果から,本手法はより局所化され,より忠実なセマンティック編集を作成できることを示した。

関連論文リスト

LIME: Localized Image Editing via Attention Regularization in Diffusion Models [74.3811832586391]
本稿では,ユーザ指定の関心領域 (RoI) や追加のテキスト入力を必要としない拡散モデルにおける局所化画像編集のためのLIMEを提案する。本手法では,事前学習した手法と単純なクラスタリング手法を用いて,正確なセマンティックセグメンテーションマップを得る。そこで本研究では,RoIにおける非関係なクロスアテンションスコアをデノナイジングステップ中にペナライズし,局所的な編集を確実にする新しいクロスアテンション正規化手法を提案する。
論文参考訳（メタデータ） (2023-12-14T18:59:59Z)
Unified Domain Adaptive Semantic Segmentation [96.74199626935294]
Unsupervised Adaptive Domain Semantic (UDA-SS)は、ラベル付きソースドメインからラベル付きターゲットドメインに監督を移すことを目的としている。本稿では,特徴量と特徴量との相違に対処するQuad-directional Mixup(QuadMix)法を提案する。提案手法は,4つの挑戦的UDA-SSベンチマークにおいて,最先端の成果を大きなマージンで上回っている。
論文参考訳（メタデータ） (2023-11-22T09:18:49Z)
Discovering Interpretable Directions in the Semantic Latent Space of Diffusion Models [21.173910627285338]
DDM(Denoising Diffusion Models)は、GAN(Generative Adversarial Networks)の強力な競合相手として登場した。本稿では,h-spaceの特性について検討し,その中に意味のある意味的方向を求めるための新しい手法を提案する。私たちのアプローチは、アーキテクチャの変更、テキストベースのガイダンス、CLIPベースの最適化、モデル微調整を必要とせずに適用できます。
論文参考訳（メタデータ） (2023-03-20T12:59:32Z)
Boundary Guided Learning-Free Semantic Control with Diffusion Models [44.37803942479853]
凍結事前学習DDMを用いた効率的,効果的,軽量な意味制御のための境界拡散法を提案する。我々はDPMアーキテクチャ(DDPM, iDDPM)とデータセット(CelebA, CelebA-HQ, LSUN-church, LSUN-bedroom, AFHQ-dog)を異なる解像度(64, 256)で広範な実験を行った。
論文参考訳（メタデータ） (2023-02-16T15:21:46Z)
Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
論文参考訳（メタデータ） (2022-12-02T21:39:26Z)
PandA: Unsupervised Learning of Parts and Appearances in the Feature Maps of GANs [34.145110544546114]
本研究では,空間的部分を表す因子とその外観を,完全に教師なしの方法で共同で発見するアーキテクチャに依存しないアプローチを提案する。我々の手法は訓練時間の観点からはるかに効率的であり、最も重要なのは、より正確な局所制御を提供することである。
論文参考訳（メタデータ） (2022-05-31T18:28:39Z)
Region-Based Semantic Factorization in GANs [67.90498535507106]
本稿では,任意の画像領域についてGAN(Generative Adversarial Networks)が学習した潜在意味を分解するアルゴリズムを提案する。適切に定義された一般化されたレイリー商を通して、アノテーションや訓練なしにそのような問題を解く。様々な最先端のGANモデルに対する実験結果から,本手法の有効性が示された。
論文参考訳（メタデータ） (2022-02-19T17:46:02Z)
Adapt Everywhere: Unsupervised Adaptation of Point-Clouds and Entropy Minimisation for Multi-modal Cardiac Image Segmentation [10.417009344120917]
マルチモーダル心臓画像分割のための新しいUDA法を提案する。提案手法は、逆学習に基づいて、異なる空間におけるソースとターゲットドメイン間のネットワーク特徴を適応する。本手法はannotated source domainからunannotated target domainへの適応により2つの心データセットで検証した。
論文参考訳（メタデータ） (2021-03-15T08:59:44Z)
Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-07-13T18:05:36Z)
Gradient-Induced Co-Saliency Detection [81.54194063218216]
Co-SOD(Co-saliency Detection)は、一般的な唾液前景を関連画像のグループに分割することを目的としている。本稿では,人間の行動にインスパイアされた,勾配誘導型共分散検出法を提案する。
論文参考訳（メタデータ） (2020-04-28T08:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。