論文の概要: Diffusion Brush: A Latent Diffusion Model-based Editing Tool for AI-generated Images

• arxiv url: http://arxiv.org/abs/2306.00219v2
• Date: Fri, 27 Oct 2023 01:51:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 21:53:52.089577
• Title: Diffusion Brush: A Latent Diffusion Model-based Editing Tool for AI-generated Images
• Title（参考訳）: Diffusion Brush:AI生成画像のための遅延拡散モデルに基づく編集ツール
• Authors: Peyman Gholami and Robert Xiao
• Abstract要約: テキスト・ツー・イメージ生成モデルは高品質な画像の生成において顕著な進歩を遂げている。 生成した画像を微調整するための既存の技術は、時間を要する(手作業による編集)。 我々は,AI合成画像内の所望領域を効率よく微調整する潜在拡散モデル(LDM)ツールであるDiffusion Brushを提案する。
• 参考スコア（独自算出の注目度）: 10.323260768204461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-image generative models have made remarkable advancements in generating high-quality images. However, generated images often contain undesirable artifacts or other errors due to model limitations. Existing techniques to fine-tune generated images are time-consuming (manual editing), produce poorly-integrated results (inpainting), or result in unexpected changes across the entire image (variation selection and prompt fine-tuning). In this work, we present Diffusion Brush, a Latent Diffusion Model-based (LDM) tool to efficiently fine-tune desired regions within an AI-synthesized image. Our method introduces new random noise patterns at targeted regions during the reverse diffusion process, enabling the model to efficiently make changes to the specified regions while preserving the original context for the rest of the image. We evaluate our method's usability and effectiveness through a user study with artists, comparing our technique against other state-of-the-art image inpainting techniques and editing software for fine-tuning AI-generated imagery.
• Abstract（参考訳）: テキスト・画像生成モデルは高品質な画像の生成において顕著な進歩を遂げている。 しかし、生成した画像は、しばしばモデル制限による望ましくないアーティファクトや他のエラーを含む。 生成した画像を微調整するための既存の技術は、時間消費(手動編集)、貧弱な統合結果(インペイント)、あるいは画像全体の予期せぬ変化(変数選択と迅速な微調整)である。 本研究では,AI合成画像内の所望領域を効率よく微調整する潜在拡散モデル(LDM)ツールであるDiffusion Brushを提案する。 本手法では,対象領域に対する新しいランダムノイズパターンを導入することにより,画像の他の部分に対する元のコンテキストを維持しつつ,特定領域の変更を効率的に行うことができる。 本手法は,アーティストとのユーザスタディを通して,そのユーザビリティと有効性を評価し,他の最先端画像インペインティング手法とai生成画像の微調整のための編集ソフトウェアとの比較を行った。

関連論文リスト

• Stable Flow: Vital Layers for Training-Free Image Editing [74.52248787189302]
  拡散モデルはコンテンツ合成と編集の分野に革命をもたらした。 最近のモデルでは、従来のUNetアーキテクチャをDiffusion Transformer (DiT)に置き換えている。 画像形成に欠かせないDiT内の「硝子層」を自動同定する手法を提案する。 次に、実画像編集を可能にするために、フローモデルのための改良された画像反転手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:51Z)
• Time Step Generating: A Universal Synthesized Deepfake Image Detector [0.4488895231267077]
  汎用合成画像検出器 Time Step Generating (TSG) を提案する。 TSGは、事前訓練されたモデルの再構築能力、特定のデータセット、サンプリングアルゴリズムに依存していない。 我々は,提案したTSGを大規模GenImageベンチマークで検証し,精度と一般化性の両方において大幅な改善を実現した。
  論文  参考訳（メタデータ） (2024-11-17T09:39:50Z)
• DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
  DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。 まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。 初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
  論文  参考訳（メタデータ） (2024-06-03T17:59:53Z)
• Active Generation for Image Classification [45.93535669217115]
  本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。 能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
  論文  参考訳（メタデータ） (2024-03-11T08:45:31Z)
• Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
  本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。 具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。 提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T21:14:02Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
  Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。 我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。 我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
  論文  参考訳（メタデータ） (2023-09-18T09:36:24Z)
• Uncovering the Disentanglement Capability in Text-to-Image Diffusion Models [60.63556257324894]
  画像生成モデルの重要な特性は、異なる属性をアンタングルする能力である。 本稿では,2つのテキスト埋め込みの混合重みをスタイルマッチングとコンテンツ保存に最適化した,シンプルで軽量な画像編集アルゴリズムを提案する。 実験により,提案手法は拡散モデルに基づく画像編集アルゴリズムよりも優れた性能で,幅広い属性を修正可能であることが示された。
  論文  参考訳（メタデータ） (2022-12-16T19:58:52Z)
• DiffusionCLIP: Text-guided Image Manipulation Using Diffusion Models [33.79188588182528]
  本稿では,コントラスト言語-画像事前学習(CLIP)損失を用いた拡散モデルを用いたテキスト駆動画像操作を行うDiffusionCLIPを提案する。 提案手法は、ドメイン内および外部の画像処理タスクのための、最新のGANベースの画像処理手法に匹敵する性能を有する。 本手法は,未知の領域から別の未知の領域への画像変換や,未知の領域におけるストローク条件の画像生成など,様々な新しい用途に容易に利用できる。
  論文  参考訳（メタデータ） (2021-10-06T12:59:39Z)
• Automatic Correction of Internal Units in Generative Neural Networks [15.67941936262584]
  GAN(Generative Adversarial Networks)は,合成画像生成において良好な性能を示す。 人工物として知られる、欠陥のある視覚パターンを持つ多数の生成画像が存在する。 本研究では,様々な種類のアーティファクト画像を生成する内部ユニットを自動的に識別する手法を考案する。
  論文  参考訳（メタデータ） (2021-04-13T11:46:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。