論文の概要: Image-to-image Mapping with Many Domains by Sparse Attribute Transfer
- arxiv url: http://arxiv.org/abs/2006.13291v1
- Date: Tue, 23 Jun 2020 19:52:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 22:52:00.144756
- Title: Image-to-image Mapping with Many Domains by Sparse Attribute Transfer
- Title(参考訳): Sparse Attribute Transferによる多くのドメインによる画像間マッピング
- Authors: Matthew Amodio, Rim Assouel, Victor Schmidt, Tristan Sylvain, Smita
Krishnaswamy, Yoshua Bengio
- Abstract要約: 教師なし画像と画像の変換は、2つの領域間の一対のマッピングを、ポイント間の既知のペアワイズ対応なしで学習することで構成される。
現在の慣例は、サイクル一貫性のあるGANでこのタスクにアプローチすることです。
そこで本研究では,ジェネレータを直接,潜在層における単純なスパース変換に制限する代替手法を提案する。
- 参考スコア(独自算出の注目度): 71.28847881318013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised image-to-image translation consists of learning a pair of
mappings between two domains without known pairwise correspondences between
points. The current convention is to approach this task with cycle-consistent
GANs: using a discriminator to encourage the generator to change the image to
match the target domain, while training the generator to be inverted with
another mapping. While ending up with paired inverse functions may be a good
end result, enforcing this restriction at all times during training can be a
hindrance to effective modeling. We propose an alternate approach that directly
restricts the generator to performing a simple sparse transformation in a
latent layer, motivated by recent work from cognitive neuroscience suggesting
an architectural prior on representations corresponding to consciousness. Our
biologically motivated approach leads to representations more amenable to
transformation by disentangling high-level abstract concepts in the latent
space. We demonstrate that image-to-image domain translation with many
different domains can be learned more effectively with our architecturally
constrained, simple transformation than with previous unconstrained
architectures that rely on a cycle-consistency loss.
- Abstract(参考訳): 教師なし画像-画像変換は、2つの領域間の2つのマッピングを、ポイント間の既知のペアワイズ対応なしで学習する。
現在の慣例では、このタスクにサイクル一貫性のあるganでアプローチする: ジェネレータを使用して、ジェネレータがターゲットドメインにマッチするようにイメージを変更するように促し、ジェネレータを別のマッピングで反転させるようにトレーニングする。
ペアの逆関数で終わることは良い結果であるが、トレーニング中にこの制限を常に強制することは、効果的なモデリングを妨げる可能性がある。
本稿では,認知神経科学の最近の研究から,意識に対応する表現に先行するアーキテクチャを提案することによる動機づけとして,ジェネレータが潜在層で単純なスパース変換を行うように直接制限する手法を提案する。
生物学的に動機付けられたアプローチは、潜在空間でハイレベルな抽象概念を分離することで、トランスフォーメーションにもっと適した表現へとつながります。
我々は、多くの異なるドメインを持つ画像から画像へのドメイン変換が、アーキテクチャ的に制約されたシンプルな変換によってより効果的に学習できることを実証する。
関連論文リスト
- In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳(メタデータ) (2023-09-25T08:42:06Z) - Multi-cropping Contrastive Learning and Domain Consistency for
Unsupervised Image-to-Image Translation [5.562419999563734]
マルチクロップ型コントラスト学習とドメイン整合性に基づく新しい教師なし画像から画像への翻訳フレームワーク MCDUT を提案する。
多くの画像と画像の翻訳タスクにおいて,本手法は最先端の結果を達成し,その利点は比較実験とアブレーション研究によって証明されている。
論文 参考訳(メタデータ) (2023-04-24T16:20:28Z) - A Domain Gap Aware Generative Adversarial Network for Multi-domain Image
Translation [22.47113158859034]
本稿では,複数の領域にまたがって画像の変換を行う統一モデルを提案する。
単一の統一ジェネレータにより、モデルはグローバルな形状と複数のドメインにわたる局所的なテクスチャ情報との整合性を維持することができる。
論文 参考訳(メタデータ) (2021-10-21T00:33:06Z) - StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。
我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。
具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
論文 参考訳(メタデータ) (2021-04-14T19:58:24Z) - Flow-based Deformation Guidance for Unpaired Multi-Contrast MRI
Image-to-Image Translation [7.8333615755210175]
本稿では,非可逆的アーキテクチャに基づく画像と画像の非対角変換に対する新しいアプローチを提案する。
我々は、連続スライス間の時間的情報を利用して、不適切な医療画像において、あるドメインを別のドメインに変換する最適化により多くの制約を与える。
論文 参考訳(メタデータ) (2020-12-03T09:10:22Z) - In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。
既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。
本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
論文 参考訳(メタデータ) (2020-03-31T18:20:18Z) - Fast Symmetric Diffeomorphic Image Registration with Convolutional
Neural Networks [11.4219428942199]
本稿では,新しい非教師付き対称画像登録手法を提案する。
大規模脳画像データセットを用いた3次元画像登録法について検討した。
論文 参考訳(メタデータ) (2020-03-20T22:07:24Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z) - CrDoCo: Pixel-level Domain Transfer with Cross-Domain Consistency [119.45667331836583]
教師なしのドメイン適応アルゴリズムは、あるドメインから学んだ知識を別のドメインに転送することを目的としている。
本稿では,新しい画素単位の対向領域適応アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-01-09T19:00:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。