論文の概要: From Continuity to Editability: Inverting GANs with Consecutive Images
- arxiv url: http://arxiv.org/abs/2107.13812v2
- Date: Fri, 30 Jul 2021 02:58:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-02 21:52:36.092038
- Title: From Continuity to Editability: Inverting GANs with Consecutive Images
- Title（参考訳）: 連続性から編集可能性:連続画像によるGANの反転
- Authors: Yangyang Xu, Yong Du, Wenpeng Xiao, Xuemiao Xu and Shengfeng He
- Abstract要約: 既存の GAN の逆変換法は、逆符号が高忠実度再構成を達成できるか、編集能力を維持することができるというパラドックスに固定されている。
本稿では,この逆転過程に連続した画像を導入することで,このパラドックスを解消する。
本手法は,ビデオベースGAN変換の最初のサポートを提供し,連続画像からの教師なしセマンティックトランスファーの興味深い応用を提供する。
- 参考スコア（独自算出の注目度）: 37.16137384683823
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing GAN inversion methods are stuck in a paradox that the inverted codes
can either achieve high-fidelity reconstruction, or retain the editing
capability. Having only one of them clearly cannot realize real image editing.
In this paper, we resolve this paradox by introducing consecutive images (\eg,
video frames or the same person with different poses) into the inversion
process. The rationale behind our solution is that the continuity of
consecutive images leads to inherent editable directions. This inborn property
is used for two unique purposes: 1) regularizing the joint inversion process,
such that each of the inverted code is semantically accessible from one of the
other and fastened in a editable domain; 2) enforcing inter-image coherence,
such that the fidelity of each inverted code can be maximized with the
complement of other images. Extensive experiments demonstrate that our
alternative significantly outperforms state-of-the-art methods in terms of
reconstruction fidelity and editability on both the real image dataset and
synthesis dataset. Furthermore, our method provides the first support of
video-based GAN inversion, and an interesting application of unsupervised
semantic transfer from consecutive images. Source code can be found at:
\url{https://github.com/cnnlstm/InvertingGANs_with_ConsecutiveImgs}.
- Abstract（参考訳）: 既存の GAN の逆変換法は、逆符号が高忠実度再構成を達成できるか、編集能力を維持することができるというパラドックスに固定されている。
そのうちの1つだけでは、実際の画像編集は実現できない。
本稿では,この逆転過程に連続した画像(映像フレームやポーズの異なる人物)を導入することで,このパラドックスを解消する。
私たちのソリューションの背景にある理論的根拠は、連続した画像の連続性が固有の編集可能な方向につながるということです。
この独立性は、2つのユニークな目的のために使用される: 1) 共同逆転過程を規則化し、各逆転したコードは一方から意味的にアクセスでき、編集可能なドメインで固定される; 2) 逆転したコードの忠実度を他の画像の補体で最大化するように、画像間コヒーレンスを強制する。
大規模な実験により,本手法は,実画像データセットと合成データセットの両方において,再現精度と編集性において,最先端の手法を著しく上回ることを示した。
さらに,本手法は,映像ベースGAN変換の最初のサポートと,連続画像からの教師なしセマンティックトランスファーの興味深い応用を提供する。
ソースコードは \url{https://github.com/cnnlstm/invertinggans_with_consecutiveimgs} で見ることができる。
関連論文リスト
- Doubly Abductive Counterfactual Inference for Text-based Image Editing [130.46583155383735]
本稿では,1つの画像のテキストベースの画像編集(TBIE)について,反事実推論を用いて検討する。
本稿では,DAC(Dububly Abductive Counterfactual Inference framework)を提案する。
我々のDACは編集性と忠実さのトレードオフをうまく達成しています。
論文 参考訳（メタデータ） (2024-03-05T13:59:21Z) - In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳（メタデータ） (2023-09-25T08:42:06Z) - RIGID: Recurrent GAN Inversion and Editing of Real Face Videos [73.97520691413006]
GANのインバージョンは、実画像に強力な編集可能性を適用するのに不可欠である。
既存のビデオフレームを個別に反転させる手法は、時間の経過とともに望ましくない一貫性のない結果をもたらすことが多い。
我々は、textbfRecurrent vtextbfIdeo textbfGAN textbfInversion and etextbfDiting (RIGID) という統合されたリカレントフレームワークを提案する。
本フレームワークは,入力フレーム間の固有コヒーレンスをエンドツーエンドで学習する。
論文 参考訳（メタデータ） (2023-08-11T12:17:24Z) - In-N-Out: Faithful 3D GAN Inversion with Volumetric Decomposition for Face Editing [28.790900756506833]
3D対応のGANは、2D対応の編集機能を保ちながら、ビュー合成のための新しい機能を提供する。
GANインバージョンは、入力画像や動画を再構成する潜時コードを求める重要なステップであり、この潜時コードを操作することで様々な編集タスクを可能にする。
我々は3次元GANの入力からOODオブジェクトを明示的にモデル化することでこの問題に対処する。
論文 参考訳（メタデータ） (2023-02-09T18:59:56Z) - Eliminating Contextual Prior Bias for Semantic Image Editing via
Dual-Cycle Diffusion [35.95513392917737]
Dual-Cycle Diffusionと呼ばれる新しいアプローチは、画像編集をガイドするアンバイアスマスクを生成する。
提案手法の有効性を実証し,D-CLIPスコアを0.272から0.283に改善した。
論文 参考訳（メタデータ） (2023-02-05T14:30:22Z) - StyleRes: Transforming the Residuals for Real Image Editing with
StyleGAN [4.7590051176368915]
実画像をStyleGANの潜伏空間に変換することは、広く研究されている問題である。
画像再構成の忠実さと画像編集の質とのトレードオフは、依然としてオープンな課題である。
高品質な編集による高忠実度画像インバージョンを実現するための新しい画像インバージョンフレームワークとトレーニングパイプラインを提案する。
論文 参考訳（メタデータ） (2022-12-29T16:14:09Z) - Overparameterization Improves StyleGAN Inversion [66.8300251627992]
既存の反転アプローチは、有望だが不完全な結果が得られる。
これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。
われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
論文 参考訳（メタデータ） (2022-05-12T18:42:43Z) - In-Domain GAN Inversion for Real Image Editing [56.924323432048304]
トレーニング済みのGANジェネレータに実際のイメージを送出する一般的な方法は、遅延コードに戻すことである。
既存の反転法は、通常、画素値によってターゲット画像の再構成にフォーカスするが、反転したコードは元の潜伏空間のセマンティックドメインに着陸しない。
本稿では、入力画像を忠実に再構成し、変換されたコードが編集に意味のある意味を持つようにするためのドメイン内GAN逆変換手法を提案する。
論文 参考訳（メタデータ） (2020-03-31T18:20:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。