論文の概要: Diffusion Autoencoders: Toward a Meaningful and Decodable Representation

• arxiv url: http://arxiv.org/abs/2111.15640v2
• Date: Wed, 1 Dec 2021 15:28:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 13:04:42.029699
• Title: Diffusion Autoencoders: Toward a Meaningful and Decodable Representation
• Title（参考訳）: 拡散オートエンコーダ : 意味のあるデオード可能な表現を目指して
• Authors: Konpat Preechakul, Nattanat Chatthee, Suttisak Wizadwongsa, Supasorn Suwajanakorn
• Abstract要約: 拡散モデル(DPM)は、GANと競合する画像生成において顕著な品質を実現している。 GANとは異なり、DPMは意味的な意味がなく、他のタスクの有用な表現として機能しない潜在変数のセットを使用する。 本稿では,DPMを用いた表現学習の可能性について検討し,自動符号化による入力画像の有意義でデオード可能な表現の抽出を試みている。
• 参考スコア（独自算出の注目度）: 1.471992435706872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion probabilistic models (DPMs) have achieved remarkable quality in image generation that rivals GANs'. But unlike GANs, DPMs use a set of latent variables that lack semantic meaning and cannot serve as a useful representation for other tasks. This paper explores the possibility of using DPMs for representation learning and seeks to extract a meaningful and decodable representation of an input image via autoencoding. Our key idea is to use a learnable encoder for discovering the high-level semantics, and a DPM as the decoder for modeling the remaining stochastic variations. Our method can encode any image into a two-part latent code, where the first part is semantically meaningful and linear, and the second part captures stochastic details, allowing near-exact reconstruction. This capability enables challenging applications that currently foil GAN-based methods, such as attribute manipulation on real images. We also show that this two-level encoding improves denoising efficiency and naturally facilitates various downstream tasks including few-shot conditional sampling. Please visit our project page: https://Diff-AE.github.io/
• Abstract（参考訳）: 拡散確率モデル(dpms)はgansに匹敵する画像生成において顕著な品質を達成している。 しかし、GANとは異なり、DPMは意味的な意味がなく、他のタスクの有用な表現として機能しない潜在変数のセットを使用する。 本稿では,DPMを用いた表現学習の可能性を探究し,自動符号化による入力画像の有意義でデオード可能な表現の抽出を試みる。 我々のキーとなるアイデアは、学習可能なエンコーダを高レベルのセマンティクスの発見に使い、DPMを残りの確率変動をモデル化するためのデコーダとして使うことです。 提案手法では,第1部が意味的意味的かつ線形な2部潜在コードに任意の画像をエンコードし,第2部が確率的詳細をキャプチャし,近似的再構成を可能にする。 この機能により、実際の画像の属性操作など、現在GANベースの手法を駆使している挑戦的なアプリケーションが可能になる。 また,この2レベル符号化により,ノイズ除去効率が向上し,数ショット条件サンプリングを含む下流タスクが自然に容易になることを示す。 プロジェクトページ(https://Diff-AE.github.io/)をご覧ください。

関連論文リスト

• Reinforcement Learning from Diffusion Feedback: Q* for Image Search [2.5835347022640254]
  モデル非依存学習を用いた画像生成のための2つのモデルを提案する。 RLDFは、事前保存された報酬関数誘導による視覚模倣のための特異なアプローチである。 クラス一貫性と強力な視覚的多様性を示す様々な領域にまたがる高品質な画像を生成する。
  論文  参考訳（メタデータ） (2023-11-27T09:20:12Z)
• Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs [49.88461345825586]
  本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。 本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。 本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-01T05:53:15Z)
• DiffuseGAE: Controllable and High-fidelity Image Manipulation from Disentangled Representation [14.725538019917625]
  拡散確率モデル (DPM) は様々な画像合成タスクにおいて顕著な結果を示した。 DPMには低次元、解釈可能、そしてよく分離された潜在コードがない。 自動符号化による表現学習におけるDPMの可能性を探るため,Diff-AEを提案する。
  論文  参考訳（メタデータ） (2023-07-12T04:11:08Z)
• Towards Accurate Image Coding: Improved Autoregressive Image Generation with Dynamic Vector Quantization [73.52943587514386]
  既存のベクトル量子化(VQ)ベースの自己回帰モデルは、2段階生成パラダイムに従う。 画像領域を可変長符号に符号化する動的量子化VAE(DQ-VAE)を提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:05Z)
• Unsupervised Representation Learning from Pre-trained Diffusion Probabilistic Models [83.75414370493289]
  拡散確率モデル(DPM)は高品質の画像サンプルを生成する強力な能力を示している。 Diff-AEは自動符号化による表現学習のためのDPMを探索するために提案されている。 我々は、既存のトレーニング済みDPMをデコーダに適応させるために、textbfPre-trained textbfAutotextbfEncoding (textbfPDAE)を提案する。
  論文  参考訳（メタデータ） (2022-12-26T02:37:38Z)
• Rethinking the Paradigm of Content Constraints in Unpaired Image-to-Image Translation [9.900050049833986]
  本稿では,パッチレベルの特徴の潜在空間における表現的類似性を制約することにより,コンテンツ管理のシンプルかつ効率的な方法であるEnCoを提案する。 類似性関数に対しては、I2Iタスクで広く使われている対照的な損失ではなく、単純なMSE損失を用いる。 さらに, 識別者によるサンプリングにおける役割を再考し, ランダムサンプリングの代替として, DAG(Disdisnative attention-guided)パッチサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-20T04:39:57Z)
• Lossy Image Compression with Conditional Diffusion Models [25.158390422252097]
  本稿では,拡散生成モデルを用いた画像圧縮のエンドツーエンド最適化について概説する。 VAEベースのニューラル圧縮とは対照的に、(平均)デコーダは決定論的ニューラルネットワークであり、私たちのデコーダは条件付き拡散モデルである。 提案手法では,GANモデルよりもFIDスコアが強く,VAEモデルとの競合性能も高い。
  論文  参考訳（メタデータ） (2022-09-14T21:53:27Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)
• Layout-to-Image Translation with Double Pooling Generative Adversarial Networks [76.83075646527521]
  入力レイアウトからフォトリアリスティックでセマンティックに一貫性のある結果を生成するための新しいDouble Pooing GAN(DPGAN)を提案する。 また,角形プールモジュール (SPM) と矩形プールモジュール (RPM) からなる新しい二重プールモジュール (DPM) を提案する。
  論文  参考訳（メタデータ） (2021-08-29T19:55:14Z)
• Unpaired Image-to-Image Translation via Latent Energy Transport [61.62293304236371]
  画像から画像への変換は、2つの視覚領域間の識別的ターゲットスタイルに変換しながら、ソースの内容を保存することを目的としている。 本稿では,この課題に対して,事前訓練されたオートエンコーダの潜在空間にエネルギーベースモデル(EBM)を配置することを提案する。 我々のモデルは1024$times$1024- resolution unpaired image translationに適用できる最初のモデルである。
  論文  参考訳（メタデータ） (2020-12-01T17:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。