論文の概要: Smooth image-to-image translations with latent space interpolations

• arxiv url: http://arxiv.org/abs/2210.00841v1
• Date: Mon, 3 Oct 2022 11:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 14:13:16.786417
• Title: Smooth image-to-image translations with latent space interpolations
• Title（参考訳）: 潜時空間補間を用いた滑らかな画像-画像間変換
• Authors: Yahui Liu, Enver Sangineto, Yajing Chen, Linchao Bao, Haoxian Zhang, Nicu Sebe, Bruno Lepri and Marco De Nadai
• Abstract要約: マルチドメインイメージ・トゥ・イメージ(I2I)変換は、ターゲットドメインのスタイルに応じてソースイメージを変換することができる。 我々の正規化技術は、最先端のI2I翻訳を大きなマージンで改善できることを示す。
• 参考スコア（独自算出の注目度）: 64.8170758294427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-domain image-to-image (I2I) translations can transform a source image according to the style of a target domain. One important, desired characteristic of these transformations, is their graduality, which corresponds to a smooth change between the source and the target image when their respective latent-space representations are linearly interpolated. However, state-of-the-art methods usually perform poorly when evaluated using inter-domain interpolations, often producing abrupt changes in the appearance or non-realistic intermediate images. In this paper, we argue that one of the main reasons behind this problem is the lack of sufficient inter-domain training data and we propose two different regularization methods to alleviate this issue: a new shrinkage loss, which compacts the latent space, and a Mixup data-augmentation strategy, which flattens the style representations between domains. We also propose a new metric to quantitatively evaluate the degree of the interpolation smoothness, an aspect which is not sufficiently covered by the existing I2I translation metrics. Using both our proposed metric and standard evaluation protocols, we show that our regularization techniques can improve the state-of-the-art multi-domain I2I translations by a large margin. Our code will be made publicly available upon the acceptance of this article.
• Abstract（参考訳）: マルチドメインイメージ・トゥ・イメージ(I2I)変換は、ターゲットドメインのスタイルに応じてソースイメージを変換することができる。 これらの変換の重要な特徴の1つは、その漸進性であり、それぞれの潜在空間表現が線形補間されたときに、ソースと対象画像の間の滑らかな変化に対応する。 しかし、最先端の手法はドメイン間補間を用いて評価すると性能が悪く、しばしば外観や非現実的な中間画像に急激な変化をもたらす。 本稿では,この問題の主な原因の1つとして,ドメイン間トレーニングデータの不足を指摘するとともに,潜在空間をコンパクト化する新たな縮小損失と,ドメイン間のスタイル表現をフラットにするミックスアップデータ提供戦略という,この問題を緩和するための2つの異なる正規化手法を提案する。 また,既存のI2I翻訳指標が十分にカバーしていない側面である補間スムースネスの程度を定量的に評価する新たな指標を提案する。 提案手法は,提案手法と標準評価プロトコルの両方を用いて,最先端のマルチドメインI2I翻訳を大きなマージンで改善できることを示す。 私たちのコードは、この記事の受理時に公開されます。

関連論文リスト

• Unsupervised Domain Adaptation for Semantic Segmentation using One-shot Image-to-Image Translation via Latent Representation Mixing [9.118706387430883]
  超高解像度画像のセマンティックセグメンテーションのための新しい教師なし領域適応法を提案する。 潜在コンテンツ表現をドメイン間で混合するエンコーダ・デコーダの原理に基づいて,画像から画像への変換パラダイムを提案する。 都市間比較実験により,提案手法は最先端領域適応法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-07T18:16:17Z)
• Marginal Contrastive Correspondence for Guided Image Generation [58.0605433671196]
  例題に基づく画像翻訳は、条件入力と2つの異なる領域からの例題間の密接な対応を確立する。 既存の作業は、2つのドメインにまたがる機能的距離を最小化することで、ドメイン間の通信を暗黙的に構築する。 本稿では,MCL-Net(Marginal Contrastive Learning Network)の設計を行った。
  論文  参考訳（メタデータ） (2022-04-01T13:55:44Z)
• Multi-domain Unsupervised Image-to-Image Translation with Appearance Adaptive Convolution [62.4972011636884]
  本稿では,MDUIT(Multi-domain unsupervised image-to-image translation)フレームワークを提案する。 我々は、分解されたコンテンツ特徴と外観適応的畳み込みを利用して、画像をターゲットの外観に変換する。 提案手法は,最先端の手法と比較して,複数の領域で視覚的に多様かつ妥当な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-02-06T14:12:34Z)
• Smoothing the Disentangled Latent Style Space for Unsupervised Image-to-Image Translation [56.55178339375146]
  イメージ・ツー・イメージ(I2I)マルチドメイン翻訳モデルは通常、セマンティックな結果の品質を用いて評価される。 本稿では,翻訳ネットワークがスムーズでゆがみのあるラテントスタイル空間を学習するのに役立つ,3つの特定の損失に基づく新たなトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-16T17:58:21Z)
• The Spatially-Correlative Loss for Various Image Translation Tasks [69.62228639870114]
  シーン構造の一貫性を保つために、シンプルで効率的かつ効果的な新しい空間相関損失を提案します。 以前の方法は、ピクセルレベルのサイクル一貫性または特徴レベルのマッチング損失を使用してこれを試みます。 I2I翻訳の3つのモードすべてにおいて,ベースラインモデルに対して,単一モーダル,マルチモーダル,さらには単一イメージ翻訳において,明確な改善が見られた。
  論文  参考訳（メタデータ） (2021-04-02T02:13:30Z)
• Label-Driven Reconstruction for Domain Adaptation in Semantic Segmentation [43.09068177612067]
  教師なしのドメイン適応は、セマンティックセグメンテーションにおけるピクセルワイズアノテーションの必要性を軽減することができる。 最も一般的な戦略の1つは、ソースドメインからターゲットドメインに画像を変換し、敵対学習を用いて特徴空間内の限界分布を調整することである。 本稿では、画像翻訳バイアスを緩和し、ドメイン間機能を同じカテゴリに整合させる革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-10T10:06:35Z)
• CrDoCo: Pixel-level Domain Transfer with Cross-Domain Consistency [119.45667331836583]
  教師なしのドメイン適応アルゴリズムは、あるドメインから学んだ知識を別のドメインに転送することを目的としている。 本稿では,新しい画素単位の対向領域適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-09T19:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。