論文の概要: Global and Local Alignment Networks for Unpaired Image-to-Image Translation

• arxiv url: http://arxiv.org/abs/2111.10346v1
• Date: Fri, 19 Nov 2021 18:01:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-22 15:59:41.650656
• Title: Global and Local Alignment Networks for Unpaired Image-to-Image Translation
• Title（参考訳）: 画像間翻訳のためのグローバル・ローカルアライメントネットワーク
• Authors: Guanglei Yang, Hao Tang, Humphrey Shi, Mingli Ding, Nicu Sebe, Radu Timofte, Luc Van Gool, Elisa Ricci
• Abstract要約: 未ペア画像から画像への変換の目的は、対象領域のスタイルを反映した出力画像を作成することである。 既存の手法では内容変化に注意が払われていないため、ソース画像からの意味情報は翻訳中の劣化に悩まされる。 我々はGLA-Net(Global and Local Alignment Networks)という新しいアプローチを導入する。 本手法は既存の手法よりもシャープでリアルな画像を効果的に生成する。
• 参考スコア（独自算出の注目度）: 170.08142745705575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of unpaired image-to-image translation is to produce an output image reflecting the target domain's style while keeping unrelated contents of the input source image unchanged. However, due to the lack of attention to the content change in existing methods, the semantic information from source images suffers from degradation during translation. In the paper, to address this issue, we introduce a novel approach, Global and Local Alignment Networks (GLA-Net). The global alignment network aims to transfer the input image from the source domain to the target domain. To effectively do so, we learn the parameters (mean and standard deviation) of multivariate Gaussian distributions as style features by using an MLP-Mixer based style encoder. To transfer the style more accurately, we employ an adaptive instance normalization layer in the encoder, with the parameters of the target multivariate Gaussian distribution as input. We also adopt regularization and likelihood losses to further reduce the domain gap and produce high-quality outputs. Additionally, we introduce a local alignment network, which employs a pretrained self-supervised model to produce an attention map via a novel local alignment loss, ensuring that the translation network focuses on relevant pixels. Extensive experiments conducted on five public datasets demonstrate that our method effectively generates sharper and more realistic images than existing approaches. Our code is available at https://github.com/ygjwd12345/GLANet.
• Abstract（参考訳）: 画像対画像変換の目標は、入力元画像の無関係な内容を維持しつつ、対象領域のスタイルを反映した出力画像を作成することである。 しかし,既存の手法では内容変化に注意が払われていないため,ソース画像からの意味情報は翻訳中の劣化に悩まされる。 本稿では,この問題に対処するために,GLA-Net(Global and Local Alignment Networks)という新たなアプローチを導入する。 グローバルアライメントネットワークは、入力画像をソースドメインからターゲットドメインに転送することを目的としている。 そこで本研究では,多変量ガウス分布のパラメータ(平均偏差,標準偏差)をmlpミキサー型エンコーダを用いてスタイル特徴として学習する。 より正確にスタイルを伝達するには、対象とする多変量ガウス分布のパラメータを入力として、エンコーダの適応インスタンス正規化層を用いる。 また、規則化と可能性損失を導入して、ドメインギャップをさらに削減し、高品質なアウトプットを生成します。 さらに,事前学習された自己教師付きモデルを用いて,新たな局所アライメント損失による注意マップを生成するローカルアライメントネットワークを導入し,翻訳ネットワークが関連する画素に焦点を当てていることを保証する。 5つの公開データセットで行った広範な実験により、既存のアプローチよりもシャープでリアルなイメージを効果的に生成できることが証明された。 私たちのコードはhttps://github.com/ygjwd12345/glanetで利用可能です。

関連論文リスト

• Conditional Score Guidance for Text-Driven Image-to-Image Translation [52.73564644268749]
  本稿では,事前訓練されたテキスト・画像拡散モデルに基づく,テキスト駆動型画像・画像変換のための新しいアルゴリズムを提案する。 本手法は,ソース画像の関心領域を選択的に編集することで,対象画像を生成することを目的とする。
  論文  参考訳（メタデータ） (2023-05-29T10:48:34Z)
• Masked and Adaptive Transformer for Exemplar Based Image Translation [16.93344592811513]
  ドメイン間のセマンティックマッチングは難しい。 正確なクロスドメイン対応を学習するためのマスク付き適応変換器(MAT)を提案する。 品質識別型スタイル表現を得るための新しいコントラスト型スタイル学習法を考案する。
  論文  参考訳（メタデータ） (2023-03-30T03:21:14Z)
• Smooth image-to-image translations with latent space interpolations [64.8170758294427]
  マルチドメインイメージ・トゥ・イメージ(I2I)変換は、ターゲットドメインのスタイルに応じてソースイメージを変換することができる。 我々の正規化技術は、最先端のI2I翻訳を大きなマージンで改善できることを示す。
  論文  参考訳（メタデータ） (2022-10-03T11:57:30Z)
• Optimal transport meets noisy label robust loss and MixUp regularization for domain adaptation [13.080485957000462]
  ソーストレーニングセットでトレーニングされたディープニューラルネットワークは、トレーニングドメインに属さないターゲットイメージに対して不十分に動作します。 これらの性能を改善するための1つの戦略は、最適なトランスポート(OT)を使用して、埋め込み空間におけるソースとターゲットの画像分布を調整することである。 我々は、MixUp正規化のcitepzhang 2018mixupを、ドメイン適応性能を改善するために、ノイズの多いラベルに対して堅牢な損失と組み合わせることを提案する。
  論文  参考訳（メタデータ） (2022-06-22T15:40:52Z)
• DSP: Dual Soft-Paste for Unsupervised Domain Adaptive Semantic Segmentation [97.74059510314554]
  セグメンテーションのための教師なしドメイン適応(UDA)は、ラベル付きソースドメインで訓練されたセグメンテーションモデルをラベル付きターゲットドメインに適応させることを目的としている。 既存の手法では、大きなドメインギャップに悩まされながら、ドメイン不変の特徴を学習しようとする。 本稿では,新しいDual Soft-Paste (DSP)法を提案する。
  論文  参考訳（メタデータ） (2021-07-20T16:22:40Z)
• Deep Symmetric Adaptation Network for Cross-modality Medical Image Segmentation [40.95845629932874]
  監視されていないドメイン適応(UDA)手法は、クロスモダリティ医療イメージセグメンテーションタスクで有望なパフォーマンスを示しています。 医療用画像セグメンテーションのためのUDAの新しいディープシンメトリーアーキテクチャを提案する。セグメンテーションサブネットワークと2つのシンメトリーソースとターゲットドメイン翻訳サブネットワークからなる。 本手法は,Cardiac と BraTS のセグメンテーションタスクにおける最先端手法と比較して,顕著な利点がある。
  論文  参考訳（メタデータ） (2021-01-18T02:54:30Z)
• Label-Driven Reconstruction for Domain Adaptation in Semantic Segmentation [43.09068177612067]
  教師なしのドメイン適応は、セマンティックセグメンテーションにおけるピクセルワイズアノテーションの必要性を軽減することができる。 最も一般的な戦略の1つは、ソースドメインからターゲットドメインに画像を変換し、敵対学習を用いて特徴空間内の限界分布を調整することである。 本稿では、画像翻訳バイアスを緩和し、ドメイン間機能を同じカテゴリに整合させる革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-10T10:06:35Z)
• A U-Net Based Discriminator for Generative Adversarial Networks [86.67102929147592]
  GAN(Generative Adversarial Network)のための代替U-Netベースの識別器アーキテクチャを提案する。 提案アーキテクチャにより,合成画像のグローバルコヒーレンスを維持しつつ,画素単位の詳細なフィードバックを生成元に提供することができる。 斬新な判別器は、標準分布と画像品質の指標の観点から、最先端の技術を向上する。
  論文  参考訳（メタデータ） (2020-02-28T11:16:54Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。