論文の概要: Generative Visual Prompt: Unifying Distributional Control of Pre-Trained Generative Models

• arxiv url: http://arxiv.org/abs/2209.06970v1
• Date: Wed, 14 Sep 2022 22:55:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 12:27:45.825702
• Title: Generative Visual Prompt: Unifying Distributional Control of Pre-Trained Generative Models
• Title（参考訳）: 生成ビジュアルプロンプト:事前学習された生成モデルの分布制御の統一化
• Authors: Chen Henry Wu, Saman Motamed, Shaunak Srivastava, Fernando De la Torre
• Abstract要約: Generative Visual Prompt (PromptGen) は、事前訓練された生成モデルの分散制御のためのフレームワークである。 PromptGenはエネルギーベースモデル(EBM)を近似し、フィードフォワード方式で画像をサンプリングする。 コードはhttps://github.com/ChenWu98/Generative-Visual-Prompt.comで入手できる。
• 参考スコア（独自算出の注目度）: 77.47505141269035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative models (e.g., GANs and diffusion models) learn the underlying data distribution in an unsupervised manner. However, many applications of interest require sampling from a specific region of the generative model's output space or evenly over a range of characteristics. To allow efficient sampling in these scenarios, we propose Generative Visual Prompt (PromptGen), a framework for distributional control over pre-trained generative models by incorporating knowledge of arbitrary off-the-shelf models. PromptGen defines control as an energy-based model (EBM) and samples images in a feed-forward manner by approximating the EBM with invertible neural networks, avoiding optimization at inference. We demonstrate how PromptGen can control several generative models (e.g., StyleGAN2, StyleNeRF, diffusion autoencoder, and NVAE) using various off-the-shelf models: (1) with the CLIP model, PromptGen can sample images guided by text, (2) with image classifiers, PromptGen can de-bias generative models across a set of attributes, and (3) with inverse graphics models, PromptGen can sample images of the same identity in different poses. (4) Finally, PromptGen reveals that the CLIP model shows "reporting bias" when used as control, and PromptGen can further de-bias this controlled distribution in an iterative manner. Our code is available at https://github.com/ChenWu98/Generative-Visual-Prompt.
• Abstract（参考訳）: 生成モデル(GANや拡散モデルなど)は、教師なしの方法で基礎となるデータ分布を学習する。 しかし、興味のある多くの応用は、生成モデルの出力空間の特定の領域からサンプリングするか、あるいは様々な特性を均等に超える必要がある。 これらのシナリオを効率的にサンプリングするために、任意のオフザシェルフモデルの知識を取り入れて、事前学習した生成モデルを分散制御するフレームワークであるGenerative Visual Prompt (PromptGen)を提案する。 PromptGenは、制御をエネルギーベースモデル(EBM)として定義し、EBMを可逆ニューラルネットワークで近似することで、フィードフォワードでイメージをサンプリングする。 筆者らは,(1)CLIPモデルを用いて,PromptGenがテキストでガイドされた画像のサンプル化,(2)画像分類器で生成モデルのデバイアス化,(3)逆グラフィックモデルで,PromptGenは異なるポーズで同一のイメージをサンプリングする,といった,さまざまなオフザシェルフモデルを用いて,PromptGenが生成モデル(StyleGAN2,StyleNeRF,拡散オートエンコーダ,NVAEなど)を制御できることを実証した。 (4) 最後に、PromptGenは、CLIPモデルがコントロールとして使用すると"バイアスのレポート"を示し、PromptGenは、この制御されたディストリビューションを反復的にデバイアスする。 私たちのコードはhttps://github.com/chenwu98/generative-visual-promptで利用可能です。

関連論文リスト

• CAR: Controllable Autoregressive Modeling for Visual Generation [100.33455832783416]
  Controllable AutoRegressive Modeling (CAR)は、条件制御をマルチスケールの潜在変数モデリングに統合する新しいプラグイン・アンド・プレイフレームワークである。 CARは、制御表現を徐々に洗練し、キャプチャし、前訓練されたモデルの各自己回帰ステップに注入して生成プロセスを導く。 提案手法は,様々な条件にまたがって優れた制御性を示し,従来の手法に比べて画質の向上を実現している。
  論文  参考訳（メタデータ） (2024-10-07T00:55:42Z)
• ControlVAR: Exploring Controllable Visual Autoregressive Modeling [48.66209303617063]
  拡散モデル(DM)の出現により、条件付き視覚発生は顕著に進展した。 高価な計算コスト、高い推論遅延、大規模言語モデル(LLM)との統合の難しさといった課題は、DMに代わる方法を模索する必要がある。 本稿では,フレキシブルかつ効率的な条件生成のための視覚自己回帰モデリングにおける画素レベル制御を探求する新しいフレームワークであるControlmoreを紹介する。
  論文  参考訳（メタデータ） (2024-06-14T06:35:33Z)
• Controlling the Output of a Generative Model by Latent Feature Vector Shifting [0.0]
  制御された出力画像修正のための遅延ベクトルシフトのための新しい手法を提案する。 提案手法では,リアルな人間の顔の画像を生成するStyleGAN3の事前学習モデルを用いている。 我々の潜在特徴シフト器は、生成モデルの潜在ベクトルを特定の特徴方向にシフトさせるタスクを備えたニューラルネットワークモデルである。
  論文  参考訳（メタデータ） (2023-11-15T10:42:06Z)
• Don't be so negative! Score-based Generative Modeling with Oracle-assisted Guidance [12.039478020062608]
  我々は新しい拡散確率モデル(DDPM)手法であるGen-neGを開発した。 提案手法は, 生成過程を誘導する拡散モデルにおいて, GAN(Generative Adversarial Network)と差別化誘導に基づいて構築する。 我々は、自動運転シミュレータにおける衝突回避や、安全で保護された人間の動き生成などの応用において、Gen-neGの有用性を実証的に確立する。
  論文  参考訳（メタデータ） (2023-07-31T07:52:00Z)
• A Hybrid of Generative and Discriminative Models Based on the Gaussian-coupled Softmax Layer [5.33024001730262]
  本稿では,1つのニューラルネットワークにおける識別モデルと生成モデルのハイブリッドを学習する手法を提案する。 提案手法を半教師付き学習と信頼性校正に適用できることを実証する。
  論文  参考訳（メタデータ） (2023-05-10T05:48:22Z)
• Understanding Diffusion Models: A Unified Perspective [0.0]
  拡散モデルは生成モデルとして素晴らしい能力を示している。 変動的視点と得点的視点の両方にわたる拡散モデルの理解をレビューし、デミスティフィケートし、統一する。
  論文  参考訳（メタデータ） (2022-08-25T09:55:25Z)
• Controllable and Compositional Generation with Latent-Space Energy-Based Models [60.87740144816278]
  制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。 本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。 エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-10-21T03:31:45Z)
• Conditional Generative Models for Counterfactual Explanations [0.0]
  本稿では,分散的非分布的モデル記述を生成する汎用フレームワークを提案する。 このフレームワークは、使用される生成モデルの種類や基礎となる予測モデルのタスクに関して柔軟である。
  論文  参考訳（メタデータ） (2021-01-25T14:31:13Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)
• Towards a Neural Graphics Pipeline for Controllable Image Generation [96.11791992084551]
  ニューラルグラフパイプライン(NGP)は,ニューラルネットワークと従来の画像形成モデルを組み合わせたハイブリッド生成モデルである。 NGPは、画像を解釈可能な外観特徴マップの集合に分解し、制御可能な画像生成のための直接制御ハンドルを明らかにする。 単目的シーンの制御可能な画像生成におけるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-18T14:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。