論文の概要: Generative Image Layer Decomposition with Visual Effects

• arxiv url: http://arxiv.org/abs/2411.17864v1
• Date: Tue, 26 Nov 2024 20:26:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:26:55.082255
• Title: Generative Image Layer Decomposition with Visual Effects
• Title（参考訳）: 視覚効果を考慮した生成的画像層分解
• Authors: Jinrui Yang, Qing Liu, Yijun Li, Soo Ye Kim, Daniil Pakhomov, Mengwei Ren, Jianming Zhang, Zhe Lin, Cihang Xie, Yuyin Zhou,
• Abstract要約: LayerDecompは、イメージ層分解のための生成フレームワークである。 清潔な背景と、忠実に保存された視覚効果を持つ高品質な透明な前景を作り出す。 本手法は,オブジェクト除去や空間編集作業において,既存の手法よりも優れた分解特性を実現する。
• 参考スコア（独自算出の注目度）: 49.75021036203426
• License:
• Abstract: Recent advancements in large generative models, particularly diffusion-based methods, have significantly enhanced the capabilities of image editing. However, achieving precise control over image composition tasks remains a challenge. Layered representations, which allow for independent editing of image components, are essential for user-driven content creation, yet existing approaches often struggle to decompose image into plausible layers with accurately retained transparent visual effects such as shadows and reflections. We propose $\textbf{LayerDecomp}$, a generative framework for image layer decomposition which outputs photorealistic clean backgrounds and high-quality transparent foregrounds with faithfully preserved visual effects. To enable effective training, we first introduce a dataset preparation pipeline that automatically scales up simulated multi-layer data with synthesized visual effects. To further enhance real-world applicability, we supplement this simulated dataset with camera-captured images containing natural visual effects. Additionally, we propose a consistency loss which enforces the model to learn accurate representations for the transparent foreground layer when ground-truth annotations are not available. Our method achieves superior quality in layer decomposition, outperforming existing approaches in object removal and spatial editing tasks across several benchmarks and multiple user studies, unlocking various creative possibilities for layer-wise image editing. The project page is https://rayjryang.github.io/LayerDecomp.
• Abstract（参考訳）: 大規模な生成モデル、特に拡散に基づく手法の最近の進歩は、画像編集の能力を著しく向上させてきた。 しかし、画像合成タスクの正確な制御を実現することは依然として課題である。 イメージコンポーネントの独立した編集を可能にするレイヤ表現は、ユーザ主導のコンテンツ作成には不可欠であるが、既存のアプローチでは、シャドーやリフレクションなどの透明な視覚効果を正確に保持した上で、イメージを可視層に分解するのに苦労することが多い。 画像層分解のための生成フレームワークである$\textbf{LayerDecomp}$を提案する。 効率的なトレーニングを実現するために、まず、合成された視覚効果でシミュレーションされた多層データを自動的にスケールアップするデータセット準備パイプラインを導入する。 実世界の応用性をさらに高めるため、このシミュレーションデータセットを自然な視覚効果を含むカメラキャプチャー画像で補足する。 さらに,本モデルでは,地平線アノテーションが利用できない場合に,前景層の正確な表現を学習するための整合性損失を提案する。 提案手法は,複数ベンチマークおよび複数ユーザによるオブジェクト除去および空間編集タスクにおける既存手法よりも優れた層分解性を実現し,レイヤワイド画像編集における様々な創造的可能性を実現する。 プロジェクトページはhttps://rayjryang.github.io/LayerDecomp。

関連論文リスト

• Stable Flow: Vital Layers for Training-Free Image Editing [74.52248787189302]
  拡散モデルはコンテンツ合成と編集の分野に革命をもたらした。 最近のモデルでは、従来のUNetアーキテクチャをDiffusion Transformer (DiT)に置き換えている。 画像形成に欠かせないDiT内の「硝子層」を自動同定する手法を提案する。 次に、実画像編集を可能にするために、フローモデルのための改良された画像反転手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:51Z)
• DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
  DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。 まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。 初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
  論文  参考訳（メタデータ） (2024-06-03T17:59:53Z)
• Streamlining Image Editing with Layered Diffusion Brushes [8.738398948669609]
  我々のシステムは、ハイエンドの消費者向けGPUを使用して、140ミリ秒以内の512x512画像に1回の編集を行う。 提案手法は,オブジェクト属性の調整,エラー訂正,逐次的なプロンプトベースのオブジェクト配置と操作など,さまざまなタスクに対して有効性を示す。
  論文  参考訳（メタデータ） (2024-05-01T04:30:03Z)
• DesignEdit: Multi-Layered Latent Decomposition and Fusion for Unified & Accurate Image Editing [22.855660721387167]
  本研究では,空間認識画像編集タスクを2つのサブタスク,多層ラテント分解と多層ラテント融合の組合せに変換する。 提案手法は,自己ガイドやDiffEditorなど,最新の空間編集手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2024-03-21T15:35:42Z)
• PFB-Diff: Progressive Feature Blending Diffusion for Text-driven Image Editing [8.19063619210761]
  PFB-Diffは拡散に基づく画像編集のためのプログレッシブ・フィーチャーブレンディング法である。 本手法は, 画像の忠実度, 編集精度, 効率, 忠実度において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-28T11:10:20Z)
• LayerDiffusion: Layered Controlled Image Editing with Diffusion Models [5.58892860792971]
  LayerDiffusionはセマンティックベースの階層制御画像編集手法である。 我々は、大規模テキスト・画像モデルを活用し、階層化された制御最適化戦略を採用する。 実験により,高コヒーレント画像の生成における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-30T01:26:41Z)
• iEdit: Localised Text-guided Image Editing with Weak Supervision [53.082196061014734]
  テキスト誘導画像編集のための新しい学習法を提案する。 ソースイメージに条件付けされた画像とテキスト編集プロンプトを生成する。 画像の忠実度、CLIPアライメントスコア、および生成された画像と実際の画像の両方を定性的に編集する点において、画像に対して好ましい結果を示す。
  論文  参考訳（メタデータ） (2023-05-10T07:39:14Z)
• Structure-Guided Image Completion with Image-level and Object-level Semantic Discriminators [97.12135238534628]
  複雑な意味論やオブジェクトの生成を改善するために,セマンティック・ディミネータとオブジェクトレベル・ディミネータからなる学習パラダイムを提案する。 特に、セマンティック・ディミネーターは、事前学習された視覚的特徴を利用して、生成された視覚概念の現実性を改善する。 提案手法は, 生成品質を著しく向上させ, 各種タスクの最先端化を実現する。
  論文  参考訳（メタデータ） (2022-12-13T01:36:56Z)
• ObjectStitch: Generative Object Compositing [43.206123360578665]
  本研究では,条件付き拡散モデルを用いたオブジェクト合成のための自己教師型フレームワークを提案する。 我々のフレームワークは、手動ラベリングを必要とせず、生成したオブジェクトの視点、幾何学、色、影を変換することができる。 本手法は, 実世界の様々な画像に対するユーザ研究において, 合成結果画像の写実性と忠実性の両方において, 関連ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2022-12-02T02:15:13Z)
• Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space Navigation [136.53288628437355]
  コントロール可能なセマンティックイメージ編集により、ユーザーはクリック数回で画像属性全体を変更できる。 現在のアプローチでは、絡み合った属性編集、グローバルなイメージアイデンティティの変更、フォトリアリズムの低下に悩まされることが多い。 本稿では,主に定性評価に焦点を当てた先行研究とは異なり,制御可能な編集性能を測定するための定量的評価手法を提案する。
  論文  参考訳（メタデータ） (2021-02-01T21:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。