論文の概要: Multimodal Image-to-Image Translation via Mutual Information Estimation
and Maximization
- arxiv url: http://arxiv.org/abs/2008.03529v7
- Date: Sat, 8 May 2021 14:15:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 09:14:16.314542
- Title: Multimodal Image-to-Image Translation via Mutual Information Estimation
and Maximization
- Title（参考訳）: 相互情報推定と最大化によるマルチモーダル画像変換
- Authors: Zhiwen Zuo, Lei Zhao, Zhizhong Wang, Haibo Chen, Ailin Li, Qijiang Xu,
Wei Xing, Dongming Lu
- Abstract要約: マルチモーダル画像画像変換 (Multimodal image-to-image translation, I2IT) は、ソース領域の入力画像が与えられた対象領域内の複数の可能な画像を探索する条件分布を学習することを目的としている。
このような条件分布をモデル化するために、条件生成逆ネットワーク(cGAN)がよく用いられる。
本稿では,cGANにおける潜在コードと出力画像間の相互情報を明示的に推定し,最大化する手法を提案する。
- 参考スコア（独自算出の注目度）: 16.54980086211836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal image-to-image translation (I2IT) aims to learn a conditional
distribution that explores multiple possible images in the target domain given
an input image in the source domain. Conditional generative adversarial
networks (cGANs) are often adopted for modeling such a conditional
distribution. However, cGANs are prone to ignore the latent code and learn a
unimodal distribution in conditional image synthesis, which is also known as
the mode collapse issue of GANs. To solve the problem, we propose a simple yet
effective method that explicitly estimates and maximizes the mutual information
between the latent code and the output image in cGANs by using a deep mutual
information neural estimator in this paper. Maximizing the mutual information
strengthens the statistical dependency between the latent code and the output
image, which prevents the generator from ignoring the latent code and
encourages cGANs to fully utilize the latent code for synthesizing diverse
results. Our method not only provides a new perspective from information theory
to improve diversity for I2IT but also achieves disentanglement between the
source domain content and the target domain style for free.
- Abstract（参考訳）: multimodal image-to-image translation (i2it) は、ソースドメインに入力画像が与えられた場合、ターゲットドメインで複数の可能なイメージを探索する条件付き分布を学習することを目的としている。
このような条件分布をモデル化するために、条件生成逆ネットワーク(cGAN)がよく用いられる。
しかし、cGANは遅延コードを無視し、条件付き画像合成において一様分布を学ぶ傾向にあり、これはGANのモード崩壊問題としても知られている。
そこで本稿では,cGANにおける潜伏符号と出力画像間の相互情報を,深い相互情報ニューラル推定器を用いて明示的に推定し,最大化する,シンプルで効果的な手法を提案する。
相互情報の最大化は、潜伏コードと出力画像間の統計的依存関係を強化することにより、潜伏コードを無視しないようにし、多様な結果の合成に潜伏コードを完全に活用することをcGANに促す。
I2ITの多様性を向上させるために情報理論から新たな視点を提供するだけでなく、ソースドメインコンテンツとターゲットドメインスタイルとの絡み合いを無償で実現する。
関連論文リスト
- MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。
離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。
MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-14T17:57:18Z) - DALDA: Data Augmentation Leveraging Diffusion Model and LLM with Adaptive Guidance Scaling [6.7206291284535125]
大規模言語モデル(LLM)と拡散モデル(DM)を利用した効果的なデータ拡張フレームワークを提案する。
提案手法は,合成画像の多様性を増大させる問題に対処する。
本手法は, 目標分布の付着性を維持しつつ, 多様性を向上した合成画像を生成する。
論文 参考訳（メタデータ） (2024-09-25T14:02:43Z) - I2I-Galip: Unsupervised Medical Image Translation Using Generative Adversarial CLIP [30.506544165999564]
ペアの例が存在しないため、画像から画像への翻訳は難しい作業である。
我々はイメージ・ツー・イメージ・ジェネレーティブ・アドバイザリアル・CLIP (I2I-Galip) という新しい画像・画像変換フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-19T01:44:50Z) - Few-Shot Image Generation by Conditional Relaxing Diffusion Inversion [37.18537753482751]
条件拡散緩和インバージョン(CRDI)は、合成画像生成における分布の多様性を高めるために設計されている。
CRDIはいくつかのサンプルに基づいた微調整を頼りにしていない。
ターゲットの画像インスタンスの再構築と、数ショットの学習による多様性の拡大に重点を置いている。
論文 参考訳（メタデータ） (2024-07-09T21:58:26Z) - SCONE-GAN: Semantic Contrastive learning-based Generative Adversarial
Network for an end-to-end image translation [18.93434486338439]
SCONE-GANはリアルで多様な風景画像を生成する学習に有効であることが示されている。
より現実的で多様な画像生成のために、スタイル参照画像を導入します。
画像から画像への変換と屋外画像のスタイリングのための提案アルゴリズムを検証した。
論文 参考訳（メタデータ） (2023-11-07T10:29:16Z) - Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。
5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-24T03:50:37Z) - Multi-cropping Contrastive Learning and Domain Consistency for
Unsupervised Image-to-Image Translation [5.562419999563734]
マルチクロップ型コントラスト学習とドメイン整合性に基づく新しい教師なし画像から画像への翻訳フレームワーク MCDUT を提案する。
多くの画像と画像の翻訳タスクにおいて,本手法は最先端の結果を達成し,その利点は比較実験とアブレーション研究によって証明されている。
論文 参考訳（メタデータ） (2023-04-24T16:20:28Z) - Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文 参考訳（メタデータ） (2022-06-30T18:31:51Z) - StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。
我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。
具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
論文 参考訳（メタデータ） (2021-04-14T19:58:24Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳（メタデータ） (2020-03-15T11:04:30Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳（メタデータ） (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。