論文の概要: VideoMaMa++: Temporally Consistent Video Matting via Preserve-and-Refine Token

• arxiv url: http://arxiv.org/abs/2610.26857v1
• Date: Mon, 19 Oct 2026 17:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:47:50.997675
• Title: VideoMaMa++: Temporally Consistent Video Matting via Preserve-and-Refine Token
• Title（参考訳）: VideoMaMa++: 保存と精細化による一時的な一貫性のあるビデオマッチング
• Abstract要約: 拡散型ビデオ・マッティングは近年,インターネット規模の事前学習によるビデオ拡散の先駆的手法として登場し,限られた合成データから強力なゼロショット一般化を実現している。 しかし、これらの拡散バックボーンの重い計算は、推論を6フレームから24フレームの短いチャンクに制限するので、通常のビデオでさえ複数のチャンクにまたがる。 マスク誘導拡散マッティングフレームワークを2つのアイデアに基づいて構築し,この問題に対処する。
• 参考スコア（独自算出の注目度）: 64.85176761094108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based video matting has recently emerged as a leading approach, leveraging video diffusion priors from internet-scale pretraining to achieve strong zero-shot generalization from limited synthetic data. However, the heavy compute of these diffusion backbones limits inference to a short chunk of just 6 to 24 frames, so even ordinary videos span multiple chunks. Because each chunk is matted independently from coarse mask guidance, existing methods fail to maintain consistency across chunk boundaries, producing flickering edges and discontinuous transparency. We address this with a mask-guided diffusion-matting framework built on two ideas. The RGB and mask conditioning are represented as separate token streams that interact through full spatio-temporal self-attention, letting the model adaptively combine fine RGB texture with coarse mask layout rather than committing to a fixed channel-wise fusion. On top of this, we propose a novel pair of learnable embeddings, the preserve token and the refine token, that act as a per-frame conditioning interface and enable a sliding-window inference scheme in which already-generated mattes are propagated across chunk boundaries for local temporal consistency, complemented by a globally shared reference anchor at every chunk to prevent error accumulation in long sequences without any additional training. Across standard video matting benchmarks and in-the-wild long footage, our framework outperforms prior diffusion-based methods in both fine-detail accuracy and temporal consistency, and uniquely maintains consistency across chunk boundaries on long videos.
• Abstract（参考訳）: 拡散型ビデオ・マッティングは近年,インターネット規模の事前学習によるビデオ拡散の先駆的手法として登場し,限られた合成データから強力なゼロショットの一般化を実現している。 しかし、これらの拡散バックボーンの重い計算は、推論を6フレームから24フレームの短いチャンクに制限するので、通常のビデオでさえ複数のチャンクにまたがる。 各チャンクは粗いマスクガイダンスとは独立して適合するため、既存のメソッドはチャンク境界を越えた一貫性を維持することができず、ひねりのあるエッジと不連続な透明性を生み出します。 マスク誘導拡散マッティングフレームワークを2つのアイデアに基づいて構築し,この問題に対処する。 RGBとマスク条件付けは、完全な時空間自己アテンションを通して相互作用する別々のトークンストリームとして表現され、固定されたチャネルワイド融合にコミットするのではなく、細かいRGBテクスチャと粗いマスクレイアウトを適応的に組み合わせることができる。 そこで本研究では,フレーム単位の条件付けインターフェースとして機能し,すでに生成したマットを局所的時間的一貫性のためにチャンク境界を越えて伝播させ,各チャンクにおけるグローバルな参照アンカーによって補完するスライディング・ウインドウ推論スキームを実現するための,学習可能な埋め込み,保存トークンと精細トークンのペアを提案する。 標準の動画マッチングベンチマークや動画中の長い映像を総合して、我々のフレームワークは、細部精度と時間的一貫性の両方において事前拡散に基づく手法よりも優れており、長いビデオのチャンク境界における一貫性をユニークに維持している。

関連論文リスト

• HorizonRelight: Relighting Long-horizon Videos Consistently via Diffusion Transformers [12.923811352890999]
  Emphtemporally conditioned latent domain translation としてのLong-Horizon relighting の検討 我々のフレームワークは、境界を越えてターゲットドメインの潜伏を伝播することにより、クロスチャンク連続性を強制する。 地中長距離ビデオの実験では、時間的一貫性が著しく向上した。
  論文  参考訳（メタデータ） (2026-06-27T21:23:40Z)
• MilliVid: Hierarchical Latents for Long-Range Consistency in Video Generation [48.042521266219524]
  マルチスケールトークン空間内で粗大なロールアウトを用いてビデオを生成する方法を示す。 長いMinecraftビデオのカスタムデータセットを使用して、このアプローチを検証する。
  論文  参考訳（メタデータ） (2026-06-08T05:46:01Z)
• OutDreamer: Video Outpainting with a Diffusion Transformer [37.512451098188635]
  本稿では,DiTをベースとした映像出力フレームワークであるOutDreamerを紹介する。 マスク情報を動的に統合するマスク駆動型自己注意層を提案する。 長時間の画質向上のために、我々は、欠落したコンテンツを反復的に生成するクロスビデオクリップ精細機を採用している。
  論文  参考訳（メタデータ） (2025-06-27T15:08:54Z)
• Ouroboros-Diffusion: Exploring Consistent Content Generation in Tuning-free Long Video Diffusion [116.40704026922671]
  事前訓練されたテキスト・ツー・ビデオモデルに基づいて構築されたファースト・イン・ファースト・アウト(FIFO)ビデオ拡散は,近年,チューニング不要な長ビデオ生成に有効なアプローチとして浮上している。 We propose Ouroboros-Diffusion, a novel video denoising framework designed to enhance structure and content (ject) consistency。
  論文  参考訳（メタデータ） (2025-01-15T18:59:15Z)
• VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
  本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。 本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
  論文  参考訳（メタデータ） (2023-12-17T09:05:56Z)
• Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
  本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。 そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
  論文  参考訳（メタデータ） (2020-02-26T12:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。