論文の概要: Diffusion Editing with Soft Mask: Pixel Level Redo of Image and Video with Adjustable Strength
- arxiv url: http://arxiv.org/abs/2610.00359v1
- Date: Wed, 30 Sep 2026 03:26:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.619277
- Title: Diffusion Editing with Soft Mask: Pixel Level Redo of Image and Video with Adjustable Strength
- Title(参考訳): ソフトマスクによる拡散編集:可変強度の画像と映像の画素レベルの再現
- Abstract要約: 我々は,ソフトマスクを利用したゼロショットサンプリング手法であるSoftPaintを導入する。
画素ごとのソフトマスク強度を尊重するLangevin-iteration-based samplerを設計し、画像およびビデオ拡散モデルに普遍的に適用する。
この方法はグラデーションフリーでメモリ効率が高く、複数の画像やビデオのバックボーンにまたがるスムーズなピクセルレベルの編集を実現する。
- 参考スコア(独自算出の注目度): 2.5489046505746704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models with prompt and reference image-guided editing have seen rapid progress, yet they remain too coarse for pixel-level control. One promising direction is to incorporate a soft mask that specifies spatially varying edit strengths but training such fine-grained control demands expensive pixel-wise annotations, while existing zero-shot methods often yield unsatisfactory results. We introduce SoftPaint, a new zero-shot sampling method that leverages soft masks to enable a continuous spectrum of edits, from fully preserving the original content to completely re-synthesizing the masked region. Going beyond zero-shot inpainting methods, we design a Langevin-iteration-based sampler that respects per-pixel soft mask strengths, which applies universally to image and video diffusion models, enabling tasks such as video editing. The method is gradient-free, memory-efficient, and achieves smooth, pixel-level edits across multiple image and video backbones.
- Abstract(参考訳): プロンプトおよび参照画像誘導編集による拡散モデルは急速に進歩しているが、ピクセルレベルの制御には粗いままである。
1つの有望な方向は、空間的に異なる編集強度を示すソフトマスクを組み込むことであるが、そのようなきめ細かい制御を訓練するには、高価なピクセル単位のアノテーションを必要とする。
我々は,ソフトマスクを利用したゼロショットサンプリング手法であるSoftPaintを紹介した。
画像やビデオの拡散モデルに普遍的に適用し,映像編集などのタスクを可能にするLangevin-iteration-based samplerを設計した。
この方法はグラデーションフリーでメモリ効率が高く、複数の画像やビデオのバックボーンにまたがるスムーズなピクセルレベルの編集を実現する。
関連論文リスト
- IMAGEdit: Let Any Subject Transform [61.666509860041124]
imageditは、ビデオの被写体編集のためのトレーニング不要のフレームワークである。
非標的領域を維持しながら、複数の指定対象の外観を操作する。
マスク駆動型ビデオ生成モデルと互換性がある。
論文 参考訳(メタデータ) (2025-10-01T17:59:56Z) - OutDreamer: Video Outpainting with a Diffusion Transformer [37.512451098188635]
本稿では,DiTをベースとした映像出力フレームワークであるOutDreamerを紹介する。
マスク情報を動的に統合するマスク駆動型自己注意層を提案する。
長時間の画質向上のために、我々は、欠落したコンテンツを反復的に生成するクロスビデオクリップ精細機を採用している。
論文 参考訳(メタデータ) (2025-06-27T15:08:54Z) - FreeMask: Rethinking the Importance of Attention Masks for Zero-Shot Video Editing [22.876290778155514]
クロスアテンションマスクはビデオ編集に有効であるが、ぼやけや点滅などのアーティファクトを導入することができる。
本稿では,特定の映像編集作業に適した最適なマスクを選択する手法であるFreeMaskを提案する。
提案手法は,最先端手法と比較して,意味的忠実度,時間的整合性,品質の編集に優れる。
論文 参考訳(メタデータ) (2024-09-30T17:01:26Z) - Blended Latent Diffusion under Attention Control for Real-World Video Editing [5.659933808910005]
本稿では,局所的なビデオ編集作業を行うために,画像レベルのブレンド潜在拡散モデルを適用することを提案する。
具体的には、DDIMのインバージョンを利用して、ランダムにノイズのあるものではなく、背景の潜伏者として潜伏者を取得する。
また,拡散段階におけるクロスアテンションマップから導かれる自律マスク製造機構を導入する。
論文 参考訳(メタデータ) (2024-09-05T13:23:52Z) - Lazy Diffusion Transformer for Interactive Image Editing [79.75128130739598]
部分的な画像更新を効率的に生成する新しい拡散変換器であるLazyDiffusionを導入する。
提案手法は,空白キャンバスや画像から,ユーザが局所的な画像修正のシーケンスを指定するインタラクティブな画像編集アプリケーションを対象としている。
論文 参考訳(メタデータ) (2024-04-18T17:59:27Z) - InFusion: Inject and Attention Fusion for Multi Concept Zero-Shot
Text-based Video Editing [27.661609140918916]
InFusionはゼロショットテキストベースのビデオ編集のためのフレームワークである。
編集プロンプトで言及されているさまざまな概念に対する画素レベルの制御による複数の概念の編集をサポートする。
私たちのフレームワークは、トレーニングを必要としないため、編集のためのワンショットチューニングモデルの安価な代替品です。
論文 参考訳(メタデータ) (2023-07-22T17:05:47Z) - MasaCtrl: Tuning-Free Mutual Self-Attention Control for Consistent Image
Synthesis and Editing [54.712205852602736]
MasaCtrlは、一貫した画像生成と複雑な非剛性画像編集を同時に行うためのチューニング不要な手法である。
具体的には、既存の拡散モデルにおける自己アテンションを相互の自己アテンションに変換することで、ソース画像から相関したローカル内容やテクスチャをクエリして一貫性を実現する。
大規模な実験により、提案したMashoCtrlは、一貫性のある画像生成と複雑な非厳密な実画像編集の両方において、印象的な結果が得られることが示された。
論文 参考訳(メタデータ) (2023-04-17T17:42:19Z) - FateZero: Fusing Attentions for Zero-shot Text-based Video Editing [104.27329655124299]
本研究では,FateZeroを提案する。FateZeroは,実世界のビデオに対して,プロンプトごとのトレーニングや使用専用のマスクを使わずに,ゼロショットのテキストベースの編集手法である。
本手法は、ゼロショットテキスト駆動型ビデオスタイルと、訓練されたテキスト・ツー・イメージモデルからローカル属性を編集する機能を示す最初の方法である。
論文 参考訳(メタデータ) (2023-03-16T17:51:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。