論文の概要: Cross-domain Correspondence Learning for Exemplar-based Image Translation

• arxiv url: http://arxiv.org/abs/2004.05571v1
• Date: Sun, 12 Apr 2020 09:10:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 05:39:16.258888
• Title: Cross-domain Correspondence Learning for Exemplar-based Image Translation
• Title（参考訳）: 外来画像翻訳のためのクロスドメイン対応学習
• Authors: Pan Zhang, Bo Zhang, Dong Chen, Lu Yuan, Fang Wen
• Abstract要約: 本稿では,異なる領域の入力からフォトリアリスティックな画像を合成する,例題に基づく画像翻訳のためのフレームワークを提案する。 出力は、例において意味的に対応するオブジェクトと整合したスタイル(例えば、色、テクスチャ)を持つ。 本手法は画像品質の面で最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 59.35767271091425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a general framework for exemplar-based image translation, which synthesizes a photo-realistic image from the input in a distinct domain (e.g., semantic segmentation mask, or edge map, or pose keypoints), given an exemplar image. The output has the style (e.g., color, texture) in consistency with the semantically corresponding objects in the exemplar. We propose to jointly learn the crossdomain correspondence and the image translation, where both tasks facilitate each other and thus can be learned with weak supervision. The images from distinct domains are first aligned to an intermediate domain where dense correspondence is established. Then, the network synthesizes images based on the appearance of semantically corresponding patches in the exemplar. We demonstrate the effectiveness of our approach in several image translation tasks. Our method is superior to state-of-the-art methods in terms of image quality significantly, with the image style faithful to the exemplar with semantic consistency. Moreover, we show the utility of our method for several applications
• Abstract（参考訳）: 本稿では,特定の領域(意味セグメンテーションマスク,エッジマップ,ポーズキーポイントなど)の入力からフォトリアリスティックな画像を合成する,exemplarベースの画像翻訳のための汎用フレームワークを提案する。 出力は、exemplar内の意味的に対応するオブジェクトと一貫性のあるスタイル(例えば色、テクスチャ)を持つ。 そこで本研究では,両タスクが相互に支援しあうクロスドメイン対応と画像翻訳を共同で学習することを提案する。 異なる領域の画像は、まず、密度の高い対応を確立する中間領域に整列する。 そして、ネットワークは、exemplarにおける意味的に対応するパッチの出現に基づいて画像合成を行う。 いくつかの画像翻訳タスクにおいて,提案手法の有効性を示す。 本手法は画像品質の面で最先端の手法よりも優れており,画像スタイルはセマンティック一貫性に忠実である。 さらに,本手法の応用例を示す。

関連論文リスト

• Masked and Adaptive Transformer for Exemplar Based Image Translation [16.93344592811513]
  ドメイン間のセマンティックマッチングは難しい。 正確なクロスドメイン対応を学習するためのマスク付き適応変換器(MAT)を提案する。 品質識別型スタイル表現を得るための新しいコントラスト型スタイル学習法を考案する。
  論文  参考訳（メタデータ） (2023-03-30T03:21:14Z)
• Learning to Model Multimodal Semantic Alignment for Story Visualization [58.16484259508973]
  ストーリービジュアライゼーションは、複数文のストーリーで各文をナレーションする一連の画像を生成することを目的としている。 現在の作業は、その固定されたアーキテクチャと入力モダリティの多様性のため、セマンティックなミスアライメントの問題に直面している。 GANに基づく生成モデルにおいて,テキストと画像表現のセマンティックアライメントを学習し,それらのセマンティックレベルを一致させる方法について検討する。
  論文  参考訳（メタデータ） (2022-11-14T11:41:44Z)
• Marginal Contrastive Correspondence for Guided Image Generation [58.0605433671196]
  例題に基づく画像翻訳は、条件入力と2つの異なる領域からの例題間の密接な対応を確立する。 既存の作業は、2つのドメインにまたがる機能的距離を最小化することで、ドメイン間の通信を暗黙的に構築する。 本稿では,MCL-Net(Marginal Contrastive Learning Network)の設計を行った。
  論文  参考訳（メタデータ） (2022-04-01T13:55:44Z)
• Multi-domain Unsupervised Image-to-Image Translation with Appearance Adaptive Convolution [62.4972011636884]
  本稿では,MDUIT(Multi-domain unsupervised image-to-image translation)フレームワークを提案する。 我々は、分解されたコンテンツ特徴と外観適応的畳み込みを利用して、画像をターゲットの外観に変換する。 提案手法は,最先端の手法と比較して,複数の領域で視覚的に多様かつ妥当な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-02-06T14:12:34Z)
• Semantic Consistency in Image-to-Image Translation for Unsupervised Domain Adaptation [22.269565708490465]
  Unsupervised Domain Adaptation (UDA)は、ソースドメインでトレーニングされたモデルを、ラベル付きデータが使用できない新しいターゲットドメインに適応させることを目的としている。 UDAの整合性正規化手法と組み合わせて意味論的に一貫した画像から画像への変換法を提案する。
  論文  参考訳（メタデータ） (2021-11-05T14:22:20Z)
• Step-Wise Hierarchical Alignment Network for Image-Text Matching [29.07229472373576]
  画像テキストマッチングを多段階のクロスモーダル推論プロセスに分解するステップワイズ階層アライメントネットワーク(SHAN)を提案する。 具体的には,まず,グローバル・ローカル・グローバル・グローバル・グローバル・グローバル・アライメントを文脈レベルで逐次実行し,フラグメントレベルでローカル・ローカル・アライメントを実現する。
  論文  参考訳（メタデータ） (2021-06-11T17:05:56Z)
• Semantically Adaptive Image-to-image Translation for Domain Adaptation of Semantic Segmentation [1.8275108630751844]
  街路シーンのセマンティックセグメンテーションにおけるドメイン適応の問題に対処する。 最先端のアプローチの多くは、結果が入力とセマンティックに一致していることを示しながら、ソースイメージの翻訳に重点を置いている。 画像のセマンティクスを利用して翻訳アルゴリズムを導くことも提案する。
  論文  参考訳（メタデータ） (2020-09-02T16:16:50Z)
• Retrieval Guided Unsupervised Multi-domain Image-to-Image Translation [59.73535607392732]
  画像から画像への変換は、ある視覚領域から別の領域へ画像を変換するマッピングを学ぶことを目的としている。 本稿では,画像から画像への変換作業を支援するための画像検索システムを提案する。
  論文  参考訳（メタデータ） (2020-08-11T20:11:53Z)
• Contrastive Learning for Unpaired Image-to-Image Translation [64.47477071705866]
  画像から画像への変換では、出力の各パッチは、入力中の対応するパッチの内容を、ドメインに依存しない形で反映すべきである。 本研究では,両者の相互情報を最大化するために,コントラスト学習に基づく枠組みを提案する。 筆者らのフレームワークは、画質の向上とトレーニング時間の短縮を図りながら、画像から画像への翻訳設定の一方的な翻訳を可能にすることを実証している。
  論文  参考訳（メタデータ） (2020-07-30T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。