論文の概要: Drop the GAN: In Defense of Patches Nearest Neighbors as Single Image Generative Models

• arxiv url: http://arxiv.org/abs/2103.15545v1
• Date: Mon, 29 Mar 2021 12:20:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 23:24:15.945775
• Title: Drop the GAN: In Defense of Patches Nearest Neighbors as Single Image Generative Models
• Title（参考訳）: ganをドロップする: 最寄りのパッチを単一の画像生成モデルとして防御する
• Authors: Niv Granot, Assaf Shocher, Ben Feinstein, Shai Bagon and Michal Irani
• Abstract要約: これらのタスクはすべて、数秒以内に、統合された驚くほど単純なフレームワークで、トレーニングなしで実行可能であることを示す。 最初は粗い推測から始まり、その後、パッチアレスト近傍のサーチを使って細かな細かな細部を精査する。 これにより、GANよりも高速でランダムな新規画像を生成することができます。
• 参考スコア（独自算出の注目度）: 17.823089978609843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Single image generative models perform synthesis and manipulation tasks by capturing the distribution of patches within a single image. The classical (pre Deep Learning) prevailing approaches for these tasks are based on an optimization process that maximizes patch similarity between the input and generated output. Recently, however, Single Image GANs were introduced both as a superior solution for such manipulation tasks, but also for remarkable novel generative tasks. Despite their impressiveness, single image GANs require long training time (usually hours) for each image and each task. They often suffer from artifacts and are prone to optimization issues such as mode collapse. In this paper, we show that all of these tasks can be performed without any training, within several seconds, in a unified, surprisingly simple framework. We revisit and cast the "good-old" patch-based methods into a novel optimization-free framework. We start with an initial coarse guess, and then simply refine the details coarse-to-fine using patch-nearest-neighbor search. This allows generating random novel images better and much faster than GANs. We further demonstrate a wide range of applications, such as image editing and reshuffling, retargeting to different sizes, structural analogies, image collage and a newly introduced task of conditional inpainting. Not only is our method faster ($\times 10^3$-$\times 10^4$ than a GAN), it produces superior results (confirmed by quantitative and qualitative evaluation), less artifacts and more realistic global structure than any of the previous approaches (whether GAN-based or classical patch-based).
• Abstract（参考訳）: 単一画像生成モデルは、単一画像内のパッチの分布をキャプチャして合成および操作タスクを実行する。 これらのタスクに対する古典的な(事前ディープラーニング)アプローチは、入力と生成された出力のパッチ類似性を最大化する最適化プロセスに基づいている。 しかし、近年では、このような操作タスクの優れたソリューションとしてだけでなく、目覚ましい新規生成タスクにも、単一の画像ganが導入されている。 その印象的さにもかかわらず、単一の画像ganは各画像と各タスクに対して長いトレーニング時間(通常数時間)を必要とする。 それらはしばしばアーティファクトに悩まされ、モード崩壊のような最適化の問題に悩まされる。 本稿では,これらのタスクはすべて,数秒以内に,統一的で驚くほどシンプルなフレームワークで,トレーニングなしで実行できることを示す。 我々は、"良い古い"パッチベースのメソッドを再検討し、新しい最適化不要のフレームワークにキャストする。 最初は粗い推測から始まり、その後、パッチアレスト近傍のサーチを使って細かな細かな細部を精査する。 これにより、GANよりもはるかに高速でランダムな新規画像を生成することができる。 さらに,画像編集やリシャフリング,異なるサイズへの再ターゲティング,構造的アナロジー,画像コラージュ,新たに導入された条件付きインパインタスクなど,幅広い応用例を示す。 我々の手法はより高速であるだけでなく(GANよりも10^3$-\times 10^4$)、優れた結果(定量的かつ質的な評価によって確認される)、アーティファクトが少なく、より現実的なグローバル構造(GANベースでも古典的パッチベースでも)を生成する。

関連論文リスト

• GLEAN: Generative Latent Bank for Image Super-Resolution and Beyond [99.6233044915999]
  画像超解像の性能向上のために,StyleGAN や BigGAN などの事前学習型生成支援ネットワーク (GAN) が潜時バンクとして利用できることを示す。 我々の手法であるGenerative LatEnt bANk(GLEAN)は、事前訓練されたGANにカプセル化されているリッチで多様な事前情報を直接活用することで、既存のプラクティスを越えている。 画像のカラー化やブラインド画像の復元など,さまざまなタスクにメソッドを拡張し,提案手法が既存の手法と比較して良好に動作することを示す。
  論文  参考訳（メタデータ） (2022-07-29T17:59:01Z)
• FewGAN: Generating from the Joint Distribution of a Few Images [95.6635227371479]
  本稿では,新しい,高品質で多様な画像を生成するための生成モデルFewGANを紹介する。 FewGANは、第1の粗いスケールで量子化を適用した階層的なパッチGANであり、その後、より微細なスケールで残った完全畳み込みGANのピラミッドが続く。 大規模な実験では、FewGANは定量的にも定性的にも基線より優れていることが示されている。
  論文  参考訳（メタデータ） (2022-07-18T07:11:28Z)
• Generating natural images with direct Patch Distributions Matching [7.99536002595393]
  2つの画像におけるパッチ分布間の距離を明示的にかつ効率的に最小化するアルゴリズムを開発した。 我々の結果は、シングルイメージGANよりも優れていることが多く、トレーニングを必要とせず、数秒で高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2022-03-22T16:38:52Z)
• InvGAN: Invertible GANs [88.58338626299837]
  InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。 これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
  論文  参考訳（メタデータ） (2021-12-08T21:39:00Z)
• SDEdit: Image Synthesis and Editing with Stochastic Differential Equations [113.35735935347465]
  微分方程式を用いた最近の生成モデルに基づく微分編集(SDEdit)を導入する。 ユーザが編集した入力画像が与えられたら、まずSDEに従って入力にノイズを付加し、その後、逆SDEをシミュレートして、その確率を前より徐々に増加させます。 GANインバージョンに基づく最近の画像編集手法において重要な要素であるタスク固有損失関数の設計は不要である。
  論文  参考訳（メタデータ） (2021-08-02T17:59:47Z)
• InfinityGAN: Towards Infinite-Resolution Image Synthesis [92.40782797030977]
  任意の解像度画像を生成するinfinityganを提案する。 少ない計算資源でパッチバイパッチをシームレスに訓練し、推論する方法を示す。
  論文  参考訳（メタデータ） (2021-04-08T17:59:30Z)
• The Power of Triply Complementary Priors for Image Compressive Sensing [89.14144796591685]
  本稿では,一対の相補的な旅先を含むLRD画像モデルを提案する。 次に、画像CSのためのRDモデルに基づく新しいハイブリッド・プラグイン・アンド・プレイ・フレームワークを提案する。 そこで,提案したH-based image CS問題の解法として,単純で効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-16T08:17:44Z)
• Training End-to-end Single Image Generators without GANs [27.393821783237186]
  AugurOneは、単一画像生成モデルをトレーニングするための新しいアプローチである。 提案手法は,入力画像の非アフィン強化を用いて,アップスケーリングニューラルネットワークを訓練する。 制御画像合成が可能なコンパクト潜在空間を共同で学習する。
  論文  参考訳（メタデータ） (2020-04-07T17:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。