論文の概要: DiffuEraser: A Diffusion Model for Video Inpainting

• arxiv url: http://arxiv.org/abs/2501.10018v1
• Date: Fri, 17 Jan 2025 08:03:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:59:40.980242
• Title: DiffuEraser: A Diffusion Model for Video Inpainting
• Title（参考訳）: DiffuEraser: ビデオペイントのための拡散モデル
• Authors: Xiaowen Li, Haolan Xue, Peiran Ren, Liefeng Bo,
• Abstract要約: 安定拡散に基づく映像インペイントモデルであるDiffuEraserを導入し,より詳細な情報とコヒーレントな構造でマスクされた領域を埋める。 また,従来のモデルとDiffuEraserの両方の時間的受容領域を拡張し,ビデオ拡散モデルの時間的平滑化特性を活用して一貫性を高める。
• 参考スコア（独自算出の注目度）: 13.292164408616257
• License:
• Abstract: Recent video inpainting algorithms integrate flow-based pixel propagation with transformer-based generation to leverage optical flow for restoring textures and objects using information from neighboring frames, while completing masked regions through visual Transformers. However, these approaches often encounter blurring and temporal inconsistencies when dealing with large masks, highlighting the need for models with enhanced generative capabilities. Recently, diffusion models have emerged as a prominent technique in image and video generation due to their impressive performance. In this paper, we introduce DiffuEraser, a video inpainting model based on stable diffusion, designed to fill masked regions with greater details and more coherent structures. We incorporate prior information to provide initialization and weak conditioning,which helps mitigate noisy artifacts and suppress hallucinations. Additionally, to improve temporal consistency during long-sequence inference, we expand the temporal receptive fields of both the prior model and DiffuEraser, and further enhance consistency by leveraging the temporal smoothing property of Video Diffusion Models. Experimental results demonstrate that our proposed method outperforms state-of-the-art techniques in both content completeness and temporal consistency while maintaining acceptable efficiency.
• Abstract（参考訳）: 近年のビデオインペインティングアルゴリズムは、フローベースのピクセル伝搬とトランスフォーマーベースの生成を統合し、周辺フレームの情報を用いてテクスチャやオブジェクトの復元に光フローを活用するとともに、視覚変換器を通じてマスクされた領域を完成させている。 しかし、これらのアプローチは大きなマスクを扱う際の曖昧さと時間的矛盾にしばしば遭遇し、生成能力を増強したモデルの必要性を強調している。 近年,拡散モデルが画像生成や映像生成において顕著な技術として出現している。 本稿では,安定拡散に基づく映像インペイントモデルであるDiffuEraserについて紹介する。 我々は、初期化と弱い条件付けを提供するために事前情報を導入し、ノイズの多い人工物を緩和し、幻覚を抑制するのに役立ちます。 さらに,時系列推論における時間的一貫性を向上させるため,従来のモデルとDiffuEraserの両方の時間的受容領域を拡張し,ビデオ拡散モデルの時間的平滑化特性を活用して一貫性を高める。 提案手法は, コンテント完全性と時間的整合性の両方において, 許容効率を保ちながら, 最先端技術よりも優れていることを示す。

関連論文リスト

• VipDiff: Towards Coherent and Diverse Video Inpainting via Training-free Denoising Diffusion Models [21.584843961386888]
  VipDiffは、時間的コヒーレントな塗装結果を生成するために、逆拡散過程に拡散モデルを条件付けるためのフレームワークである。 この手法は、空間的時間的コヒーレンスと忠実度の両方の観点から、最先端の映像塗装法よりも優れている。
  論文  参考訳（メタデータ） (2025-01-21T16:39:09Z)
• RepVideo: Rethinking Cross-Layer Representation for Video Generation [53.701548524818534]
  テキスト・ビデオ拡散モデルのための拡張表現フレームワークであるRepVideoを提案する。 近隣層からの機能を蓄積してリッチな表現を形成することで、このアプローチはより安定したセマンティック情報をキャプチャする。 我々の実験は、RepVideoが正確な空間的外観を生成する能力を著しく向上するだけでなく、ビデオ生成における時間的一貫性も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-15T18:20:37Z)
• ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer [95.80384464922147]
  連続的な視覚生成には、フルシーケンスの拡散に基づくアプローチが必要である。 本稿では,自己回帰的ブロックワイド条件拡散変換器ACDiTを提案する。 本稿では,拡散目標を訓練しながら,視覚理解タスクにACDiTをシームレスに使用できることを実証する。
  論文  参考訳（メタデータ） (2024-12-10T18:13:20Z)
• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• Oscillation Inversion: Understand the structure of Large Flow Model through the Lens of Inversion Method [60.88467353578118]
  実世界のイメージを逆転させる固定点インスパイアされた反復的アプローチは収束を達成せず、異なるクラスタ間で振動することを示す。 本稿では,画像強調,ストロークベースのリカラー化,および視覚的プロンプト誘導画像編集を容易にする,シンプルで高速な分布転送手法を提案する。
  論文  参考訳（メタデータ） (2024-11-17T17:45:37Z)
• Video Diffusion Models are Strong Video Inpainter [14.402778136825642]
  本稿では,FFF-VDI (First Frame Filling Video Diffusion Inpainting Model) を提案する。 我々は、将来のフレームのノイズ潜時情報を伝播して、第1フレームのノイズ潜時符号のマスク領域を埋める。 次に,事前学習した画像間拡散モデルを微調整し,インペイント映像を生成する。
  論文  参考訳（メタデータ） (2024-08-21T08:01:00Z)
• Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution [65.91317390645163]
  Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。 ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。 また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
  論文  参考訳（メタデータ） (2023-12-11T18:54:52Z)
• Flow-Guided Diffusion for Video Inpainting [14.168532703086672]
  ビデオのインペイントは、大きな動きや低照度条件のような複雑なシナリオによって挑戦されてきた。 新たな拡散モデルを含む現在の手法は、品質と効率の限界に直面している。 本稿では、時間的一貫性と塗装品質を大幅に向上させる新しい手法であるFGDVI(Flow-Guided Diffusion Model for Video Inpainting)を提案する。
  論文  参考訳（メタデータ） (2023-11-26T17:48:48Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。