論文の概要: Maximum Spatial Perturbation Consistency for Unpaired Image-to-Image
Translation
- arxiv url: http://arxiv.org/abs/2203.12707v1
- Date: Wed, 23 Mar 2022 19:59:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-26 02:09:04.523216
- Title: Maximum Spatial Perturbation Consistency for Unpaired Image-to-Image
Translation
- Title（参考訳）: 画像間翻訳における最大空間摂動一貫性
- Authors: Yanwu Xu, Shaoan Xie, Wenhao Wu, Kun Zhang, Mingming Gong and Kayhan
Batmanghelich
- Abstract要約: 本稿では,最大空間摂動整合(MSPC)と呼ばれる普遍正規化手法を提案する。
MSPCは空間摂動関数(T)と変換演算子(G)を可換(TG = GT)に強制する。
提案手法は,ほとんどのI2Iベンチマークにおいて最先端の手法よりも優れている。
- 参考スコア（独自算出の注目度）: 56.44946660061753
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unpaired image-to-image translation (I2I) is an ill-posed problem, as an
infinite number of translation functions can map the source domain distribution
to the target distribution. Therefore, much effort has been put into designing
suitable constraints, e.g., cycle consistency (CycleGAN), geometry consistency
(GCGAN), and contrastive learning-based constraints (CUTGAN), that help better
pose the problem. However, these well-known constraints have limitations: (1)
they are either too restrictive or too weak for specific I2I tasks; (2) these
methods result in content distortion when there is a significant spatial
variation between the source and target domains. This paper proposes a
universal regularization technique called maximum spatial perturbation
consistency (MSPC), which enforces a spatial perturbation function (T ) and the
translation operator (G) to be commutative (i.e., TG = GT ). In addition, we
introduce two adversarial training components for learning the spatial
perturbation function. The first one lets T compete with G to achieve maximum
perturbation. The second one lets G and T compete with discriminators to align
the spatial variations caused by the change of object size, object distortion,
background interruptions, etc. Our method outperforms the state-of-the-art
methods on most I2I benchmarks. We also introduce a new benchmark, namely the
front face to profile face dataset, to emphasize the underlying challenges of
I2I for real-world applications. We finally perform ablation experiments to
study the sensitivity of our method to the severity of spatial perturbation and
its effectiveness for distribution alignment.
- Abstract（参考訳）: 無限個の変換関数がソース領域の分布を対象の分布にマッピングできるため、未ペア画像画像変換(I2I)は不適切な問題である。
そのため、サイクル整合性(CycleGAN)、幾何整合性(GCGAN)、コントラスト学習に基づく制約(CUTGAN)などの適切な制約の設計に多くの努力が払われている。
しかし、これらのよく知られた制約には制限があり、(1)特定のi2iタスクには制限的すぎるか弱すぎるか、(2)ソースドメインとターゲットドメインの間に大きな空間的変動がある場合にコンテンツの歪みが生じる。
本稿では,空間摂動関数 (t) と変換演算子 (g) を可換(すなわち tg = gt) に強制する,最大空間摂動一貫性 (mspc) と呼ばれる普遍正規化手法を提案する。
さらに,空間摂動関数を学習するための2つの逆訓練成分について紹介する。
まず、t が g と競合して最大摂動を達成する。
2つ目は、GとTが識別器と競合して、オブジェクトサイズやオブジェクトの歪み、背景の中断などによる空間的変動を調整できることだ。
提案手法は,ほとんどのI2Iベンチマークにおいて最先端の手法よりも優れている。
また,実世界のアプリケーションにおけるi2iの基盤となる課題を強調するために,新たなベンチマーク,すなわちface to profile face datasetも導入した。
最終的にアブレーション実験を行い,空間摂動の重症度に対する感度と分布アライメントの有効性について検討した。
関連論文リスト
- Dynamic Position Transformation and Boundary Refinement Network for Left Atrial Segmentation [17.09918110723713]
左心房細動は不整脈(心房細動)の診断において重要な手法である。
LAセグメンテーションの現在のほとんどの方法は、入力データがオブジェクト指向のセンタートリミングによって取得されると厳密に仮定している。
本稿では,これらの問題に対処するための新しい動的位置変換と境界改善ネットワーク(DPBNet)を提案する。
論文 参考訳（メタデータ） (2024-07-07T22:09:35Z) - Double Duality: Variational Primal-Dual Policy Optimization for
Constrained Reinforcement Learning [132.7040981721302]
本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。
制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
論文 参考訳（メタデータ） (2024-02-16T16:35:18Z) - Smooth image-to-image translations with latent space interpolations [64.8170758294427]
マルチドメインイメージ・トゥ・イメージ(I2I)変換は、ターゲットドメインのスタイルに応じてソースイメージを変換することができる。
我々の正規化技術は、最先端のI2I翻訳を大きなマージンで改善できることを示す。
論文 参考訳（メタデータ） (2022-10-03T11:57:30Z) - ContraCLIP: Interpretable GAN generation driven by pairs of contrasting
sentences [45.06326873752593]
事前学習されたGANの潜在空間における非線形解釈パスをモデルに依存しない方法で発見する。
視覚言語埋め込み空間において、所望の経路に沿って変化を起こす経路を探索する目的を定義することにより、基礎となる生成因子を直感的に制御する方法を提供する。
論文 参考訳（メタデータ） (2022-06-05T06:13:42Z) - ResiDualGAN: Resize-Residual DualGAN for Cross-Domain Remote Sensing
Images Semantic Segmentation [15.177834801688979]
アノテーション付きデータセットで事前訓練されたリモートセンシング(RS)画像のセマンティックセグメンテーションモデルの性能は、ドメインギャップのため、他のアノテーションなしデータセットでテストすると大幅に低下する。
画素レベルのドメインギャップを最小限に抑えるために、DualGANなどの逆生成法が未ペア画像から画像への変換に利用される。
本稿では,RS画像の変換においてResiDualGANを提案する。
論文 参考訳（メタデータ） (2022-01-27T13:56:54Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - G$^2$DA: Geometry-Guided Dual-Alignment Learning for RGB-Infrared Person
Re-Identification [3.909938091041451]
RGB-IRの人物再識別は、異種間の興味のある人物を検索することを目的としている。
本稿では,サンプルレベルのモダリティ差に対処するための幾何誘導デュアルアライメント学習フレームワーク(G$2$DA)を提案する。
論文 参考訳（メタデータ） (2021-06-15T03:14:31Z) - Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。
本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。
提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
論文 参考訳（メタデータ） (2021-03-10T16:45:22Z) - Rethinking conditional GAN training: An approach using geometrically
structured latent manifolds [58.07468272236356]
条件付きGAN(cGAN)は、生成された出力の多様性の欠如などの重大な欠点に悩まされる。
本稿では,バニラcGANの多様性と視覚的品質を両立させる新しいトレーニング機構を提案する。
論文 参考訳（メタデータ） (2020-11-25T22:54:11Z) - GAIT: Gradient Adjusted Unsupervised Image-to-Image Translation [5.076419064097734]
対向損失を利用して、翻訳された画像セットと対象画像セットの分布を一致させる。
これにより、2つの領域が例えば一様領域において異なる辺分布を持つようなアーティファクトが生成される。
本稿では,翻訳後の一様領域を保存する教師なしIITを提案する。
論文 参考訳（メタデータ） (2020-09-02T08:04:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。