論文の概要: ManiFest: Manifold Deformation for Few-shot Image Translation

• arxiv url: http://arxiv.org/abs/2111.13681v2
• Date: Mon, 29 Nov 2021 18:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 12:59:47.092141
• Title: ManiFest: Manifold Deformation for Few-shot Image Translation
• Title（参考訳）: ManiFest:Few-shot画像翻訳のためのマニフォールド変形
• Authors: Fabio Pizzati, Jean-Fran\c{c}ois Lalonde, Raoul de Charette
• Abstract要約: ManiFestは、画像翻訳のためのフレームワークだ。 ターゲットドメインのコンテキスト認識表現を、少数の画像のみから学習する。
• 参考スコア（独自算出の注目度）: 10.547158520306773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most image-to-image translation methods require a large number of training images, which restricts their applicability. We instead propose ManiFest: a framework for few-shot image translation that learns a context-aware representation of a target domain from a few images only. To enforce feature consistency, our framework learns a style manifold between source and proxy anchor domains (assumed to be composed of large numbers of images). The learned manifold is interpolated and deformed towards the few-shot target domain via patch-based adversarial and feature statistics alignment losses. All of these components are trained simultaneously during a single end-to-end loop. In addition to the general few-shot translation task, our approach can alternatively be conditioned on a single exemplar image to reproduce its specific style. Extensive experiments demonstrate the efficacy of ManiFest on multiple tasks, outperforming the state-of-the-art on all metrics and in both the general- and exemplar-based scenarios. Our code is available at https://github.com/cv-rits/Manifest .
• Abstract（参考訳）: ほとんどの画像から画像への変換には大量のトレーニング画像が必要であるため、適用性が制限される。 マニフェスト(ManiFest)は、少数の画像のみからターゲットドメインのコンテキスト認識表現を学習する、少数の画像翻訳のためのフレームワークである。 特徴整合性を実現するため,我々のフレームワークはソースとプロキシアンカードメイン間のスタイル多様体を学習する(多数の画像からなると仮定される)。 学習された多様体は、パッチベースの逆境および特徴統計アライメント損失を介して、補間され、少数ショットのターゲット領域に向かって変形する。 これらのコンポーネントはすべて、単一のエンドツーエンドループで同時にトレーニングされる。 一般的な翻訳タスクに加えて、このアプローチは、特定のスタイルを再現するために単一の例示画像で条件付けすることができる。 広範囲な実験によって、複数のタスクにおけるマニフェストの有効性が示され、すべてのメトリクスと一般的なシナリオと例題ベースのシナリオで最先端を上回っている。 私たちのコードはhttps://github.com/cv-rits/Manifestで利用可能です。

関連論文リスト

• Internal Diverse Image Completion [38.068971605321096]
  トレーニングセットを必要としない多種多様な補完手法を提案し,任意の領域からの任意の画像を扱えるようにした。 我々の内在的多彩性補完(IDC)アプローチは、1つの画像の複数のスケールで訓練された最近の単一画像生成モデルからインスピレーションを得ている。
  論文  参考訳（メタデータ） (2022-12-18T10:02:53Z)
• Pretraining is All You Need for Image-to-Image Translation [59.43151345732397]
  画像から画像への一般的な翻訳を促進するために,事前学習を使うことを提案する。 提案した事前学習型画像画像変換(PITI)は,前例のないリアリズムと忠実さのイメージを合成できることを示す。
  論文  参考訳（メタデータ） (2022-05-25T17:58:26Z)
• ISF-GAN: An Implicit Style Function for High-Resolution Image-to-Image Translation [55.47515538020578]
  本研究は,マルチモーダル画像とマルチドメイン画像の直接変換を実現する暗黙的スタイル関数 (ISF) を提案する。 ヒトの顔と動物に対する手術の結果は,ベースラインよりも有意に改善した。 我々のモデルは、事前訓練された無条件GANを用いて、高解像度で費用対効果の高いマルチモーダル・アントラクショナル・イメージ・ツー・イメージ翻訳を可能にする。
  論文  参考訳（メタデータ） (2021-09-26T04:51:39Z)
• StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
  マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。 我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。 具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
  論文  参考訳（メタデータ） (2021-04-14T19:58:24Z)
• Multiple GAN Inversion for Exemplar-based Image-to-Image Translation [0.0]
  実例に基づく画像-画像変換のための複数GANインバージョンを提案する。 提案するMultiple GAN Inversionは,階層数選択における自己決定アルゴリズムによる人間の介入を回避する。 実験結果から,提案手法の利点を既存の最先端の画像画像変換法と比較した。
  論文  参考訳（メタデータ） (2021-03-26T13:46:14Z)
• COCO-FUNIT: Few-Shot Unsupervised Image Translation with a Content Conditioned Style Encoder [70.23358875904891]
  教師なし画像画像変換は、与えられた領域内の画像と異なる領域内の類似画像とのマッピングを学習することを目的としている。 入力画像に条件付けされたサンプル画像のスタイル埋め込みを計算し、新しい数ショット画像変換モデルCOCO-FUNITを提案する。 本モデルは,コンテンツ損失問題に対処する上での有効性を示す。
  論文  参考訳（メタデータ） (2020-07-15T02:01:14Z)
• Semi-supervised Learning for Few-shot Image-to-Image Translation [89.48165936436183]
  本稿では,SEMITと呼ばれる画像翻訳のための半教師付き手法を提案する。 提案手法は,ソースラベルの10%以下を用いて,4つの異なるデータセットに対して優れた結果を得る。
  論文  参考訳（メタデータ） (2020-03-30T22:46:49Z)
• Unifying Specialist Image Embedding into Universal Image Embedding [84.0039266370785]
  画像の様々な領域に適用可能な普遍的な深層埋め込みモデルを持つことが望ましい。 本稿では,複数の専門家の知識を普遍的な埋め込みに融合させてこの問題を解決することを提案する。
  論文  参考訳（メタデータ） (2020-03-08T02:51:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。