論文の概要: ReStyle: A Residual-Based StyleGAN Encoder via Iterative Refinement

• arxiv url: http://arxiv.org/abs/2104.02699v1
• Date: Tue, 6 Apr 2021 17:47:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 14:01:04.433497
• Title: ReStyle: A Residual-Based StyleGAN Encoder via Iterative Refinement
• Title（参考訳）: ReStyle: 反復リファインメントによる残留型スタイルGANエンコーダ
• Authors: Yuval Alaluf, Or Patashnik, Daniel Cohen-Or
• Abstract要約: 本稿では,現在のエンコーダに基づくインバージョン法を拡張する新しいインバージョンスキームを提案する。 ReStyleという名前の残差ベースのエンコーダは、現在の最先端のエンコーダベースの手法と比べて、推論時間の無視できるほど精度が向上する。
• 参考スコア（独自算出の注目度）: 46.48263482909809
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the power of unconditional image synthesis has significantly advanced through the use of Generative Adversarial Networks (GANs). The task of inverting an image into its corresponding latent code of the trained GAN is of utmost importance as it allows for the manipulation of real images, leveraging the rich semantics learned by the network. Recognizing the limitations of current inversion approaches, in this work we present a novel inversion scheme that extends current encoder-based inversion methods by introducing an iterative refinement mechanism. Instead of directly predicting the latent code of a given real image using a single pass, the encoder is tasked with predicting a residual with respect to the current estimate of the inverted latent code in a self-correcting manner. Our residual-based encoder, named ReStyle, attains improved accuracy compared to current state-of-the-art encoder-based methods with a negligible increase in inference time. We analyze the behavior of ReStyle to gain valuable insights into its iterative nature. We then evaluate the performance of our residual encoder and analyze its robustness compared to optimization-based inversion and state-of-the-art encoders.
• Abstract（参考訳）: 近年,GAN(Generative Adversarial Networks)によって,非条件画像合成のパワーが大幅に向上している。 トレーニングされたGANの潜在コードに画像を反転させるタスクは、ネットワークによって学習されたリッチなセマンティクスを活用することで、実際のイメージの操作を可能にするため、最も重要である。 本研究では, 電流インバージョン手法の限界を認識し, 繰り返し改良機構を導入して, 電流エンコーダに基づくインバージョン手法を拡張した新しいインバージョン方式を提案する。 与えられた実画像の潜在コードを単一のパスで直接予測する代わりに、エンコーダは、反転した潜在コードの現在の推定値に対する残差を自己補正的に予測する。 ReStyleという名前の残差ベースのエンコーダは、現在の最先端のエンコーダベースの手法と比べて、推論時間の無視できるほど精度が向上する。 ReStyleの動作を分析し、その反復性に関する貴重な洞察を得る。 次に、残余エンコーダの性能を評価し、最適化に基づく逆転や最先端エンコーダと比較して頑健さを解析する。

関連論文リスト

• InstantIR: Blind Image Restoration with Instant Generative Reference [10.703499573064537]
  本稿では,新しい拡散型BIR法であるInstant-Reference Image Restoration(InstantIR)を紹介する。 まず、事前学習された視覚エンコーダを介して入力のコンパクトな表現を抽出する。 各生成ステップにおいて、この表現は、電流拡散潜時をデコードし、生成前でインスタンス化する。 劣化した画像をこの参照で符号化し、堅牢な生成条件を提供する。
  論文  参考訳（メタデータ） (2024-10-09T05:15:29Z)
• $ε$-VAE: Denoising as Visual Decoding [61.29255979767292]
  生成モデリングにおいて、トークン化は複雑なデータをコンパクトで構造化された表現に単純化し、より効率的で学習可能な空間を作り出す。 現在の視覚的トークン化手法は従来のオートエンコーダフレームワークに依存しており、エンコーダはデータを潜在表現に圧縮し、デコーダは元の入力を再構築する。 具体的には,デコーダを拡散処理に置き換え,ノイズを反復的に除去して元のイメージを復元し,エンコーダが提供する潜伏者によって誘導される。 再建(rFID)と生成品質(ジェネレーション品質)の両面からアプローチを評価する。
  論文  参考訳（メタデータ） (2024-10-05T08:27:53Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability [76.6724135757723]
  GANインバージョンは、事前訓練されたGANの潜在空間に入力イメージを反転させることを目的としている。 GANの逆転の最近の進歩にもかかわらず、歪みと編集性の間のトレードオフを軽減するための課題は残されている。 本稿では、まず入力画像をピボットコードと呼ばれる潜在コードに反転させ、次に、入力画像を正確にピボットコードにマッピングできるようにジェネレータを変更する2段階のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-07-19T16:10:16Z)
• Feature-Style Encoder for Style-Based GAN Inversion [1.9116784879310027]
  本稿では,特徴型エンコーダ(Feature-Style encoder)と呼ばれる,GANインバージョンのための新しいアーキテクチャを提案する。 本モデルは,事前学習したスタイルベースGANモデルの潜在空間から,実画像の正確な逆変換を実現する。 エンコーダ構造のおかげで、モデルは高速で正確な画像編集を可能にする。
  論文  参考訳（メタデータ） (2022-02-04T15:19:34Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)
• In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
  トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。 既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。 本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T18:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。