論文の概要: Infusion: Internal Diffusion for Video Inpainting

• arxiv url: http://arxiv.org/abs/2311.01090v1
• Date: Thu, 2 Nov 2023 08:55:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 14:16:35.609674
• Title: Infusion: Internal Diffusion for Video Inpainting
• Title（参考訳）: インフュージョン:ビデオインペインティングのための内部拡散
• Authors: Nicolas Cherel, Andr\'es Almansa, Yann Gousseau, Alasdair Newson
• Abstract要約: 拡散モデルは、画像やビデオを含む複雑なデータ分散をモデル化する際、驚くべき結果を示している。 ビデオインペイントの場合,ビデオの自己類似性が高いため,拡散モデルのトレーニングはインペイントに限定することができる。 われわれはこの手法を「Infusion」と呼んでいる。
• 参考スコア（独自算出の注目度）: 4.8201607588546
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Video inpainting is the task of filling a desired region in a video in a visually convincing manner. It is a very challenging task due to the high dimensionality of the signal and the temporal consistency required for obtaining convincing results. Recently, diffusion models have shown impressive results in modeling complex data distributions, including images and videos. Diffusion models remain nonetheless very expensive to train and perform inference with, which strongly restrict their application to video. We show that in the case of video inpainting, thanks to the highly auto-similar nature of videos, the training of a diffusion model can be restricted to the video to inpaint and still produce very satisfying results. This leads us to adopt an internal learning approch, which also allows for a greatly reduced network size. We call our approach "Infusion": an internal learning algorithm for video inpainting through diffusion. Due to our frugal network, we are able to propose the first video inpainting approach based purely on diffusion. Other methods require supporting elements such as optical flow estimation, which limits their performance in the case of dynamic textures for example. We introduce a new method for efficient training and inference of diffusion models in the context of internal learning. We split the diffusion process into different learning intervals which greatly simplifies the learning steps. We show qualititative and quantitative results, demonstrating that our method reaches state-of-the-art performance, in particular in the case of dynamic backgrounds and textures.
• Abstract（参考訳）: ビデオインペインティングは、映像内の所望の領域を視覚的に説得力のある方法で埋める作業である。 信号の高次元化と説得力のある結果を得るためには時間的一貫性が必要となるため、非常に難しい課題である。 近年、拡散モデルは画像やビデオを含む複雑なデータ分布のモデリングにおいて顕著な結果を示している。 拡散モデルはいまだにトレーニングと推論に非常に高価であり、ビデオへの適用を厳しく制限している。 ビデオインペイントの場合,ビデオの自己類似性が高いため,拡散モデルのトレーニングはビデオに限定してインペイントし,非常に満足な結果が得られることを示す。 これにより、内部学習アプローチを採用することができ、ネットワークサイズを大幅に削減することができます。 我々はこのアプローチを「拡散」と呼び,拡散による映像インペインティングのための内部学習アルゴリズムである。 粗末なネットワークにより,拡散に基づく最初の映像インペインティング手法を提案することができる。 その他の方法は、例えば動的テクスチャの場合の性能を制限する光学フロー推定のような支持要素を必要とする。 内部学習の文脈における拡散モデルの効率的な学習と推論のための新しい手法を提案する。 拡散過程を異なる学習間隔に分割し,学習ステップを大幅に単純化する。 特に動的背景やテクスチャの場合において,本手法が最先端性能に達することを示す定性的,定量的な結果を示す。

関連論文リスト

• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Noise Crystallization and Liquid Noise: Zero-shot Video Generation using Image Diffusion Models [6.408114351192012]
  ビデオモデルは広範なトレーニングと計算資源を必要とし、高いコストと環境への影響をもたらす。 本稿では、画像拡散モデルを拡張して、細部を保ちながら連続的なアニメーションフレームを作成することによって、映像生成に新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-05T12:53:05Z)
• Image Neural Field Diffusion Models [46.781775067944395]
  本稿では,画像ニューラルネットワーク上での拡散モデルのトレーニングにより連続画像の分布を学習することを提案する。 画像ニューラル場拡散モデルは、混合分解能画像データセットを用いて訓練でき、固定分解能拡散モデルよりも優れており、異なるスケールで適用された条件で効率よく逆問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:24:02Z)
• Plug-and-Play Diffusion Distillation [14.359953671470242]
  誘導拡散モデルのための新しい蒸留手法を提案する。 オリジナルのテキスト・ツー・イメージモデルが凍結されている間、外部の軽量ガイドモデルがトレーニングされる。 提案手法は,クラス化なしガイド付きラテント空間拡散モデルの推論をほぼ半減することを示す。
  論文  参考訳（メタデータ） (2024-06-04T04:22:47Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)
• VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation [88.49030739715701]
  本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。 様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
  論文  参考訳（メタデータ） (2023-03-15T02:16:39Z)
• SinFusion: Training Diffusion Models on a Single Image or Video [11.473177123332281]
  拡散モデルでは画像生成とビデオ生成が大幅に進歩し、GANよりも品質と多様性が向上した。 本稿では,単一入力画像やビデオ上で拡散モデルをトレーニングすることで,この問題を解決する方法を示す。 我々の画像/ビデオ特異的拡散モデル(SinFusion)は、拡散モデルの条件付け機能を利用して、単一の画像またはビデオの外観とダイナミクスを学習する。
  論文  参考訳（メタデータ） (2022-11-21T18:59:33Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。