論文の概要: Auto DragGAN: Editing the Generative Image Manifold in an Autoregressive Manner
- arxiv url: http://arxiv.org/abs/2407.18656v1
- Date: Fri, 26 Jul 2024 10:45:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 13:40:43.570183
- Title: Auto DragGAN: Editing the Generative Image Manifold in an Autoregressive Manner
- Title（参考訳）: Auto DragGAN: 自動回帰マンナで生成イメージを編集する
- Authors: Pengxiang Cai, Zhiwei Liu, Guibo Zhu, Yunfang Niu, Jinqiao Wang,
- Abstract要約: 本稿では,レグレッションに基づくネットワークを用いて,画像のドラッグング過程におけるStyleGAN潜伏符号の変動パターンを学習する。
提案手法は,画素レベルの粒度でのSOTA推論速度と画像編集性能を実現する。
- 参考スコア（独自算出の注目度）: 28.939227214483953
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pixel-level fine-grained image editing remains an open challenge. Previous works fail to achieve an ideal trade-off between control granularity and inference speed. They either fail to achieve pixel-level fine-grained control, or their inference speed requires optimization. To address this, this paper for the first time employs a regression-based network to learn the variation patterns of StyleGAN latent codes during the image dragging process. This method enables pixel-level precision in dragging editing with little time cost. Users can specify handle points and their corresponding target points on any GAN-generated images, and our method will move each handle point to its corresponding target point. Through experimental analysis, we discover that a short movement distance from handle points to target points yields a high-fidelity edited image, as the model only needs to predict the movement of a small portion of pixels. To achieve this, we decompose the entire movement process into multiple sub-processes. Specifically, we develop a transformer encoder-decoder based network named 'Latent Predictor' to predict the latent code motion trajectories from handle points to target points in an autoregressive manner. Moreover, to enhance the prediction stability, we introduce a component named 'Latent Regularizer', aimed at constraining the latent code motion within the distribution of natural images. Extensive experiments demonstrate that our method achieves state-of-the-art (SOTA) inference speed and image editing performance at the pixel-level granularity.
- Abstract（参考訳）: ピクセルレベルのきめ細かい画像編集は、まだオープンな課題だ。
従来の作業は制御の粒度と推論速度の間の理想的なトレードオフを達成できなかった。
ピクセルレベルのきめ細かい制御を達成できないか、推論速度を最適化する必要がある。
そこで本研究では,レグレッションに基づくネットワークを用いて,画像のドラッグング過程において,StyleGANの潜伏符号の変動パターンを学習する。
少ない時間で編集をドラッグする際の画素レベルの精度を実現する。
ユーザは、任意のGAN生成画像上で、ハンドルポイントとその対応するターゲットポイントを指定することができ、我々の方法では、各ハンドルポイントを対応するターゲットポイントに移動させる。
実験により,ハンドル点から目標点までの短い移動距離が高忠実度画像を生成することが判明した。
これを実現するために、運動過程全体を複数のサブプロセスに分解する。
具体的には、ハンドポイントからターゲットポイントへの遅延符号運動軌跡を自己回帰的に予測するトランスフォーマーエンコーダデコーダベースのネットワーク「潜時予測器」を開発した。
さらに、予測安定性を高めるために、自然な画像の分布内での遅延コードの動きを制限することを目的とした「潜時正規化器」というコンポーネントを導入する。
広汎な実験により,本手法は画素レベルの粒度でのSOTA推論速度と画像編集性能を実現する。
関連論文リスト
- PixelMan: Consistent Object Editing with Diffusion Models via Pixel Manipulation and Generation [15.342060815068347]
PixelManは、Pixel操作と生成を通じて一貫したオブジェクト編集を実現するための、インバージョンフリーでトレーニング不要な方法である。
数16の推論ステップにおいて、PixelManは最先端のトレーニングベースおよびトレーニングフリーメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-12-18T19:24:15Z) - AdaptiveDrag: Semantic-Driven Dragging on Diffusion-Based Image Editing [14.543341303789445]
マスクレスのポイントベース画像編集手法であるAdaptiveDragを提案する。
入力画像とドラッグプロセスとの包括的接続を確保するため,セマンティック駆動型最適化を開発した。
提案手法は,これらの効果的な設計に基づいて,単一入力画像とハンド・ターゲット・ポイント・ペアのみを用いて,優れた生成結果を提供する。
論文 参考訳（メタデータ） (2024-10-16T15:59:02Z) - FastDrag: Manipulate Anything in One Step [20.494157877241665]
本稿では,FastDragというワンステップのドラッグベースの画像編集手法を導入し,編集プロセスの高速化を図る。
この革新は1段階の遅延セマンティック最適化を実現し、編集速度を大幅に向上させる。
私たちのFastDragはDragBenchデータセットで検証されています。
論文 参考訳（メタデータ） (2024-05-24T17:59:26Z) - LightningDrag: Lightning Fast and Accurate Drag-based Image Editing Emerging from Videos [101.59710862476041]
1秒で高速なドラッグベースの画像編集を可能にするLightningDragを提案する。
従来の方法とは異なり、条件生成タスクとしてドラッグベースの編集を再定義する。
提案手法は, 精度と整合性の観点から, 従来手法よりも大幅に優れる。
論文 参考訳（メタデータ） (2024-05-22T15:14:00Z) - Continuous Piecewise-Affine Based Motion Model for Image Animation [45.55812811136834]
画像アニメーションは、動画の駆動によって静的なイメージを生き返らせることを目的としている。
最近の教師なし手法では、キーポイントに基づくアフィンおよび薄板のスプライン変換を用いて、駆動フレーム内の動きをソース画像に転送する。
本研究では,高表現率微分空間における原画像から駆動フレームへの動きをモデル化する。
論文 参考訳（メタデータ） (2024-01-17T11:40:05Z) - Pixel-Inconsistency Modeling for Image Manipulation Localization [59.968362815126326]
デジタル画像法医学は、画像認証と操作のローカライゼーションにおいて重要な役割を果たす。
本稿では,画素不整合アーチファクトの解析を通じて,一般化されたロバストな操作ローカライゼーションモデルを提案する。
実験により,本手法は固有の画素不整合偽指紋を抽出することに成功した。
論文 参考訳（メタデータ） (2023-09-30T02:54:51Z) - In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳（メタデータ） (2023-09-25T08:42:06Z) - DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing [94.24479528298252]
DragGANは、ピクセルレベルの精度で印象的な編集結果を実現する、インタラクティブなポイントベースの画像編集フレームワークである。
大規模な事前学習拡散モデルを利用することで、実画像と拡散画像の両方における対話的点ベース編集の適用性を大幅に向上する。
本稿では,対話的点ベース画像編集手法の性能を評価するため,DragBenchというベンチマークデータセットを提案する。
論文 参考訳（メタデータ） (2023-06-26T06:04:09Z) - Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold [79.94300820221996]
DragGANはGAN(Generative Adversarial Network)を制御する新しい方法である
DragGANを使えば、ピクセルの行き先を正確に制御して、動物、車、人間、風景などのさまざまなカテゴリのポーズ、形状、表現、レイアウトを操作することができる。
定性的かつ定量的な比較は、画像操作や点追跡のタスクにおいて、以前のアプローチよりもDragGANの利点を示している。
論文 参考訳（メタデータ） (2023-05-18T13:41:25Z) - DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。
このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。
3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-07-13T11:12:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。