論文の概要: PluGeN: Multi-Label Conditional Generation From Pre-Trained Models
- arxiv url: http://arxiv.org/abs/2109.09011v1
- Date: Sat, 18 Sep 2021 21:02:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 16:21:43.586792
- Title: PluGeN: Multi-Label Conditional Generation From Pre-Trained Models
- Title（参考訳）: PluGeN:事前学習モデルによる複数ラベル条件生成
- Authors: Maciej Wo{\l}czyk, Magdalena Proszewska, {\L}ukasz Maziarka, Maciej
Zi\k{e}ba, Patryk Wielopolski, Rafa{\l} Kurczab, Marek \'Smieja
- Abstract要約: PluGeNは単純だが効果的な生成技術であり、事前訓練された生成モデルのプラグインとして使用できる。
PluGeNは、ラベル付き属性の値を制御する機能を加えながら、バックボーンモデルの品質を保っていることを示す。
- 参考スコア（独自算出の注目度）: 1.4777718769290524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern generative models achieve excellent quality in a variety of tasks
including image or text generation and chemical molecule modeling. However,
existing methods often lack the essential ability to generate examples with
requested properties, such as the age of the person in the photo or the weight
of the generated molecule. Incorporating such additional conditioning factors
would require rebuilding the entire architecture and optimizing the parameters
from scratch. Moreover, it is difficult to disentangle selected attributes so
that to perform edits of only one attribute while leaving the others unchanged.
To overcome these limitations we propose PluGeN (Plugin Generative Network), a
simple yet effective generative technique that can be used as a plugin to
pre-trained generative models. The idea behind our approach is to transform the
entangled latent representation using a flow-based module into a
multi-dimensional space where the values of each attribute are modeled as an
independent one-dimensional distribution. In consequence, PluGeN can generate
new samples with desired attributes as well as manipulate labeled attributes of
existing examples. Due to the disentangling of the latent representation, we
are even able to generate samples with rare or unseen combinations of
attributes in the dataset, such as a young person with gray hair, men with
make-up, or women with beards. We combined PluGeN with GAN and VAE models and
applied it to conditional generation and manipulation of images and chemical
molecule modeling. Experiments demonstrate that PluGeN preserves the quality of
backbone models while adding the ability to control the values of labeled
attributes.
- Abstract（参考訳）: 現代の生成モデルは、画像やテキスト生成、化学分子モデリングなど様々なタスクにおいて優れた品質を達成する。
しかし、既存の方法では、写真中の人物の年齢や生成分子の重量など、要求された特性を持つサンプルを生成する能力が欠如していることが多い。
このような追加の条件付け要素を組み込むには、アーキテクチャ全体を再構築し、パラメータをスクラッチから最適化する必要がある。
また、他の属性をそのまま残しながら一つの属性のみの編集を行うように、選択した属性を切り離すことも困難である。
このような制限を克服するため,我々は,事前学習した生成モデルのプラグインとして使用可能な,単純かつ効果的な生成手法である plugen (plugin generative network) を提案する。
提案手法の背景にある考え方は,フローベースモジュールを用いた絡み合った潜在表現を,各属性の値が独立な一次元分布としてモデル化された多次元空間に変換することである。
その結果、PluGeNは望ましい属性を持つ新しいサンプルを生成し、既存の例のラベル付き属性を操作することができる。
潜在表現の混乱により、白髪の若者、化粧をした男性、ひげを生やした女性など、データセットに珍しい、あるいは目に見えない属性の組み合わせを持つサンプルを生成できるようになりました。
我々はPluGeNをGANおよびVAEモデルと組み合わせ、画像の条件付き生成と操作と化学分子モデリングに応用した。
実験によると、PluGeNはラベル付き属性の値を制御する機能を加えながら、バックボーンモデルの品質を保っている。
関連論文リスト
- A Simple Approach to Unifying Diffusion-based Conditional Generation [63.389616350290595]
多様な条件生成タスクを処理するための、シンプルで統一されたフレームワークを導入します。
提案手法は,異なる推論時間サンプリング方式による多目的化を実現する。
我々のモデルは、非親密なアライメントや粗い条件付けのような追加機能をサポートしています。
論文 参考訳（メタデータ） (2024-10-15T09:41:43Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - Conditional Generation from Unconditional Diffusion Models using
Denoiser Representations [94.04631421741986]
本稿では,学習したデノイザネットワークの内部表現を用いて,事前学習した非条件拡散モデルを新しい条件に適用することを提案する。
提案手法により生成した合成画像を用いたTiny ImageNetトレーニングセットの強化により,ResNetベースラインの分類精度が最大8%向上することを示す。
論文 参考訳（メタデータ） (2023-06-02T20:09:57Z) - Generative Visual Prompt: Unifying Distributional Control of Pre-Trained
Generative Models [77.47505141269035]
Generative Visual Prompt (PromptGen) は、事前訓練された生成モデルの分散制御のためのフレームワークである。
PromptGenはエネルギーベースモデル(EBM)を近似し、フィードフォワード方式で画像をサンプリングする。
コードはhttps://github.com/ChenWu98/Generative-Visual-Prompt.comで入手できる。
論文 参考訳（メタデータ） (2022-09-14T22:55:18Z) - Attribute Graphs Underlying Molecular Generative Models: Path to Learning with Limited Data [42.517927809224275]
本研究では,事前学習された生成オートエンコーダの潜伏符号の摂動実験を頼りに属性グラフを探索するアルゴリズムを提案する。
潜在符号間の構造方程式モデルをモデル化する有効なグラフィカルモデルに適合することを示す。
小分子の大きなデータセットで訓練された事前学習された生成オートエンコーダを用いて、グラフィカルモデルを用いて特定の特性を予測できることを実証する。
論文 参考訳（メタデータ） (2022-07-14T19:20:30Z) - Few-Shot Diffusion Models [15.828257653106537]
条件付きDDPMを利用した数ショット生成のためのフレームワークであるFew-Shot Diffusion Models (FSDM)を提案する。
FSDMは、画像パッチ情報を集約することにより、所定のクラスからの小さな画像集合に条件付けされた生成プロセスに適応するように訓練される。
FSDMが数ショット生成を行い、新しいデータセットに転送できることを実証的に示す。
論文 参考訳（メタデータ） (2022-05-30T23:20:33Z) - Mix and Match: Learning-free Controllable Text Generation using Energy
Language Models [33.97800741890231]
制御可能なテキスト生成のためのグローバルスコアベースの代替手段であるMix and Match LMを提案する。
我々は制御可能な生成のタスクをエネルギーベースモデルからのサンプルの描画として解釈する。
我々は、このエネルギーベースモデルからサンプリングするためにメトロポリス・ハスティングスサンプリングスキームを使用する。
論文 参考訳（メタデータ） (2022-03-24T18:52:09Z) - A Multi-attribute Controllable Generative Model for Histopathology Image
Synthesis [13.353006960284159]
我々は,属性認識画像合成モデルであるAttributeGANを実現するために,最先端のGAN(Generative Adversarial Network)を構築した。
尿路上皮癌の染色H&E像を含む病理組織学的データセットについて実験を行った。
論文 参考訳（メタデータ） (2021-11-10T22:48:55Z) - Controllable and Compositional Generation with Latent-Space Energy-Based
Models [60.87740144816278]
制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。
本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。
エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
論文 参考訳（メタデータ） (2021-10-21T03:31:45Z) - Flow Plugin Network for conditional generation [1.123376893295777]
デフォルトでは、サンプリングプロセスを制御することができません。つまり、特定の属性セットを持つサンプルを生成することはできません。
基本モデルを再学習することなく、与えられた属性セットを持つオブジェクトの生成を可能にする新しいアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-07T17:26:57Z) - Multilinear Latent Conditioning for Generating Unseen Attribute
Combinations [61.686839319971334]
本研究では, 変異自己エンコーダ(VAE)とGAN(Generative Adversarial Network)が, 人間の知覚において自然に発生する一般化能力を欠いていることを示す。
本稿では,属性間の乗法的相互作用をキャプチャする多線形潜在条件付けフレームワークを提案する。
また,どのアーキテクチャでも使用可能な新しい条件付けフレームワークを設計し,未知の属性の組み合わせを合成する。
論文 参考訳（メタデータ） (2020-09-09T02:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。