論文の概要: Contrastive Learning for Unpaired Image-to-Image Translation

• arxiv url: http://arxiv.org/abs/2007.15651v3
• Date: Thu, 20 Aug 2020 17:33:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 13:41:41.148695
• Title: Contrastive Learning for Unpaired Image-to-Image Translation
• Title（参考訳）: 非対訳画像翻訳におけるコントラスト学習
• Authors: Taesung Park, Alexei A. Efros, Richard Zhang, Jun-Yan Zhu
• Abstract要約: 画像から画像への変換では、出力の各パッチは、入力中の対応するパッチの内容を、ドメインに依存しない形で反映すべきである。 本研究では,両者の相互情報を最大化するために,コントラスト学習に基づく枠組みを提案する。 筆者らのフレームワークは、画質の向上とトレーニング時間の短縮を図りながら、画像から画像への翻訳設定の一方的な翻訳を可能にすることを実証している。
• 参考スコア（独自算出の注目度）: 64.47477071705866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In image-to-image translation, each patch in the output should reflect the content of the corresponding patch in the input, independent of domain. We propose a straightforward method for doing so -- maximizing mutual information between the two, using a framework based on contrastive learning. The method encourages two elements (corresponding patches) to map to a similar point in a learned feature space, relative to other elements (other patches) in the dataset, referred to as negatives. We explore several critical design choices for making contrastive learning effective in the image synthesis setting. Notably, we use a multilayer, patch-based approach, rather than operate on entire images. Furthermore, we draw negatives from within the input image itself, rather than from the rest of the dataset. We demonstrate that our framework enables one-sided translation in the unpaired image-to-image translation setting, while improving quality and reducing training time. In addition, our method can even be extended to the training setting where each "domain" is only a single image.
• Abstract（参考訳）: 画像から画像への変換では、出力の各パッチは、ドメインとは独立に、入力中の対応するパッチの内容を反映しなければならない。 コントラスト学習に基づくフレームワークを用いて,両者の相互情報の最大化を行うための簡単な手法を提案する。 この方法は、データセット内の他の要素(他のパッチ)と比較して、学習された機能空間の類似点にマップすることを推奨する(パッチの対応)。 画像合成においてコントラスト学習を効果的にするための重要な設計選択について検討する。 特に、イメージ全体を操作するのではなく、マルチレイヤのパッチベースのアプローチを使っています。 さらに、データセットの残りの部分ではなく、入力画像自体から負の値を描く。 提案手法では,画像から画像への変換を不要にしつつ,品質の向上とトレーニング時間の短縮を両立できることを示す。 さらに、この手法は、各「ドメイン」が1つの画像のみであるトレーニング設定にまで拡張できる。

関連論文リスト

• Weakly-Supervised Visual-Textual Grounding with Semantic Prior Refinement [52.80968034977751]
  画像-文ペアのみを用いて、弱い教師付き視覚-テクスチュアルグラウンドは、各エンティティの言及の領域-フレーズ対応を学習することを目的としている。 本稿では,2つの主モジュールの出力を組み合わせて予測を行うセマンティック・プライオリファインメント・モデル(SPRM)を提案する。 このアプローチでは、Flickr30k EntitiesとReferItの2つの一般的なデータセットに対する最先端の結果が9.6%の絶対的な改善で示されている。
  論文  参考訳（メタデータ） (2023-05-18T12:25:07Z)
• ACE: Zero-Shot Image to Image Translation via Pretrained Auto-Contrastive-Encoder [2.1874189959020427]
  本研究では,同じデータ分布内のサンプルの類似点と相違点を学習し,画像の特徴を抽出する手法を提案する。 ACEの設計により、画像翻訳タスクのトレーニングを初めて行うことなく、ゼロショット画像から画像への変換を実現することができる。 本モデルは,ゼロショット学習を用いたマルチモーダル画像翻訳タスクにおける競合的な結果も達成する。
  論文  参考訳（メタデータ） (2023-02-22T23:52:23Z)
• Exploring Negatives in Contrastive Learning for Unpaired Image-to-Image Translation [12.754320302262533]
  我々は、パッチをスペーシングし、ランキング付けすることで、アンペア画像から画像への変換(PUT)のための新しい負のプルーニング技術を導入する。 提案アルゴリズムは効率的で柔軟で,対応するパッチ間で本質的な情報を安定的に学習することができる。
  論文  参考訳（メタデータ） (2022-04-23T08:31:18Z)
• Multi-domain Unsupervised Image-to-Image Translation with Appearance Adaptive Convolution [62.4972011636884]
  本稿では,MDUIT(Multi-domain unsupervised image-to-image translation)フレームワークを提案する。 我々は、分解されたコンテンツ特徴と外観適応的畳み込みを利用して、画像をターゲットの外観に変換する。 提案手法は,最先端の手法と比較して,複数の領域で視覚的に多様かつ妥当な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-02-06T14:12:34Z)
• Contrastive Unpaired Translation using Focal Loss for Patch Classification [0.0]
  コントラストアンペア翻訳は画像から画像への翻訳の新しい手法である。 本研究では,PatchNCE損失におけるクロスエントロピー損失の代わりに焦点損失を用いることで,モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-09-25T20:22:33Z)
• Unaligned Image-to-Image Translation by Learning to Reweight [40.93678165567824]
  教師なし画像から画像への変換は、トレーニングにペア画像を用いることなく、ソースからターゲットドメインへのマッピングを学習することを目的としている。 教師なしのイメージ翻訳に不可欠な仮定は、2つの領域が整列しているということである。 重要度再重み付けに基づく画像の選択を提案し,重み付けを学習し,同時に自動翻訳を行う手法を開発した。
  論文  参考訳（メタデータ） (2021-09-24T04:08:22Z)
• Dual Contrastive Learning for Unsupervised Image-to-Image Translation [16.759958400617947]
  unsupervised image-to-image translationタスクは、非ペアトレーニングデータからソースドメインxとターゲットドメインyとのマッピングを見つけることを目的としている。 画像対画像翻訳におけるコントラスト学習は最先端の成果をもたらす。 本論文では, 対比学習に基づく新しい手法と, 対比データ間の効率的なマッピングを推定するデュアルラーニング設定を提案する。
  論文  参考訳（メタデータ） (2021-04-15T18:00:22Z)
• The Spatially-Correlative Loss for Various Image Translation Tasks [69.62228639870114]
  シーン構造の一貫性を保つために、シンプルで効率的かつ効果的な新しい空間相関損失を提案します。 以前の方法は、ピクセルレベルのサイクル一貫性または特徴レベルのマッチング損失を使用してこれを試みます。 I2I翻訳の3つのモードすべてにおいて,ベースラインモデルに対して,単一モーダル,マルチモーダル,さらには単一イメージ翻訳において,明確な改善が見られた。
  論文  参考訳（メタデータ） (2021-04-02T02:13:30Z)
• Unpaired Image-to-Image Translation via Latent Energy Transport [61.62293304236371]
  画像から画像への変換は、2つの視覚領域間の識別的ターゲットスタイルに変換しながら、ソースの内容を保存することを目的としている。 本稿では,この課題に対して,事前訓練されたオートエンコーダの潜在空間にエネルギーベースモデル(EBM)を配置することを提案する。 我々のモデルは1024$times$1024- resolution unpaired image translationに適用できる最初のモデルである。
  論文  参考訳（メタデータ） (2020-12-01T17:18:58Z)
• Cross-domain Correspondence Learning for Exemplar-based Image Translation [59.35767271091425]
  本稿では,異なる領域の入力からフォトリアリスティックな画像を合成する,例題に基づく画像翻訳のためのフレームワークを提案する。 出力は、例において意味的に対応するオブジェクトと整合したスタイル(例えば、色、テクスチャ)を持つ。 本手法は画像品質の面で最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-12T09:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。