論文の概要: PostEdit: Posterior Sampling for Efficient Zero-Shot Image Editing

• arxiv url: http://arxiv.org/abs/2410.04844v1
• Date: Mon, 7 Oct 2024 09:04:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 01:38:08.337197
• Title: PostEdit: Posterior Sampling for Efficient Zero-Shot Image Editing
• Title（参考訳）: PostEdit: 効率的なゼロショット画像編集のための後方サンプリング
• Authors: Feng Tian, Yixuan Li, Yichao Yan, Shanyan Guan, Yanhao Ge, Xiaokang Yang,
• Abstract要約: 拡散サンプリングプロセスを制御するために後続のスキームを組み込んだPostEditを導入する。 提案したPostEditは、未編集領域を正確に保存しながら、最先端の編集性能を実現する。 インバージョンもトレーニングも不要で、約1.5秒と18GBのGPUメモリを必要とするため、高品質な結果が得られる。
• 参考スコア（独自算出の注目度）: 63.38854614997581
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the field of image editing, three core challenges persist: controllability, background preservation, and efficiency. Inversion-based methods rely on time-consuming optimization to preserve the features of the initial images, which results in low efficiency due to the requirement for extensive network inference. Conversely, inversion-free methods lack theoretical support for background similarity, as they circumvent the issue of maintaining initial features to achieve efficiency. As a consequence, none of these methods can achieve both high efficiency and background consistency. To tackle the challenges and the aforementioned disadvantages, we introduce PostEdit, a method that incorporates a posterior scheme to govern the diffusion sampling process. Specifically, a corresponding measurement term related to both the initial features and Langevin dynamics is introduced to optimize the estimated image generated by the given target prompt. Extensive experimental results indicate that the proposed PostEdit achieves state-of-the-art editing performance while accurately preserving unedited regions. Furthermore, the method is both inversion- and training-free, necessitating approximately 1.5 seconds and 18 GB of GPU memory to generate high-quality results.
• Abstract（参考訳）: 画像編集の分野では、コントロール可能性、背景保存、効率性の3つの主要な課題が続いている。 インバージョンベースの手法は、初期画像の特徴を保存するために時間を要する最適化に頼っている。 逆に、inversion-freeメソッドには背景類似性の理論的サポートがない。 その結果、これらの手法はいずれも高効率とバックグラウンドの整合性を達成できない。 この課題に対処するために,拡散サンプリングプロセスを管理するために,後続のスキームを組み込んだPostEditを導入する。 具体的には、初期特徴とランゲヴィンダイナミクスの両方に関連する対応する測定項を導入し、所定の目標プロンプトによって生成された推定画像を最適化する。 実験結果から,提案したPostEditは,未編集領域を正確に保存しつつ,最先端の編集性能を達成できることが示唆された。 さらに、この方法はインバージョンフリーとトレーニングフリーの両方で、約1.5秒と18GBのGPUメモリを必要とするため、高品質な結果が得られる。

関連論文リスト

• Guide-and-Rescale: Self-Guidance Mechanism for Effective Tuning-Free Real Image Editing [42.73883397041092]
  本稿では,誘導機構による拡散サンプリングプロセスの修正に基づく新しい手法を提案する。 本研究では,入力画像の全体構造を保存するための自己誘導手法について検討する。 本稿では,人間の評価と定量的分析を通じて,提案手法が望ましい編集を可能にすることを示す。
  論文  参考訳（メタデータ） (2024-09-02T15:21:46Z)
• TALE: Training-free Cross-domain Image Composition via Adaptive Latent Manipulation and Energy-guided Optimization [59.412236435627094]
  TALEは、テキストから画像への拡散モデルの生成機能を利用する、トレーニング不要のフレームワークである。 TALEにはAdaptive Latent ManipulationとEnergy-Guided Latent Optimizationという2つのメカニズムが備わっている。 本実験は,TALEが従来のベースラインを超え,画像誘導合成における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-07T08:52:21Z)
• OrientDream: Streamlining Text-to-3D Generation with Explicit Orientation Control [66.03885917320189]
  OrientDreamは、テキストプロンプトから効率よくマルチビューで一貫した3D生成のためのカメラ指向条件付きフレームワークである。 本戦略は,2次元テキスト・画像拡散モジュールの事前学習におけるカメラ配向条件付き機能の実装を強調する。 提案手法は,一貫したマルチビュー特性を持つ高品質なNeRFモデルを生成するだけでなく,既存手法よりも最適化速度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-06-14T13:16:18Z)
• TiNO-Edit: Timestep and Noise Optimization for Robust Diffusion-Based Image Editing [12.504661526518234]
  我々は、編集中のノイズパターンと拡散時間の最適化に焦点をあてたSDベースのTiNO-Editを提案する。 SDの潜在領域で動作する新しい損失関数のセットを提案し、最適化を大幅に高速化する。 本手法は,Textual InversionやDreamBoothなど,SDのバリエーションに容易に適用することができる。
  論文  参考訳（メタデータ） (2024-04-17T07:08:38Z)
• Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
  本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。 提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。 提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-03-12T05:06:07Z)
• Wavelet-Guided Acceleration of Text Inversion in Diffusion-Based Image Editing [24.338298020188155]
  画像編集を高速化しながらNull-text Inversion(NTI)の原理を維持する革新的な手法を提案する。 本稿では,周波数特性に基づいてテキスト最適化の終端を決定するWave-Estimatorを提案する。 このアプローチは、NTI法と比較して平均編集時間を80%以上削減しつつ、NTIに匹敵する性能を維持している。
  論文  参考訳（メタデータ） (2024-01-18T08:26:37Z)
• Adaptive Image Registration: A Hybrid Approach Integrating Deep Learning and Optimization Functions for Enhanced Precision [13.242184146186974]
  本稿では,ディープニューラルネットワークと最適化に基づく画像登録のための単一のフレームワークを提案する。 また, 実験データの最大1.6%の改善と, 同じ推定時間を維持しつつ, 変形場平滑化における1.0%の性能向上を示す。
  論文  参考訳（メタデータ） (2023-11-27T02:48:06Z)
• A Simple Baseline for StyleGAN Inversion [133.5868210969111]
  StyleGANのインバージョンは、トレーニング済みのStyleGANを実際の顔画像編集タスクに使用できるようにする上で重要な役割を果たす。 既存の最適化ベースの手法は高品質な結果を生み出すことができるが、最適化には時間がかかることが多い。 StyleGANインバージョンのための新しいフィードフォワードネットワークを提示し、効率と品質の面で大幅に改善します。
  論文  参考訳（メタデータ） (2021-04-15T17:59:49Z)
• Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
  本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。 特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
  論文  参考訳（メタデータ） (2020-03-02T13:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。