論文の概要: MatAnyone-E: Sparse Memory Propagation for Efficient High-Resolution Video Matting

• arxiv url: http://arxiv.org/abs/2610.35724v1
• Date: Mon, 26 Oct 2026 16:43:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.11426
• Title: MatAnyone-E: Sparse Memory Propagation for Efficient High-Resolution Video Matting
• Title（参考訳）: MatAnyone-E:高分解能ビデオマッチングのためのスパースメモリプロパゲーション
• Abstract要約: MatAnyone-EはMatAnyone 2の効率的な拡張であり、最も必要な場所に焦点を当てている。 MatAnyone-EはMatAnyone 2に匹敵するマット品質を維持し、推定7.4倍の推論速度を達成する。 単一のNVIDIA H200 GPU上でコンパイル可能な推論では、1080pで73.07 FPS、4Kで28.62 FPSに達する。
• 参考スコア（独自算出の注目度）: 62.607926256626826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-resolution video matting requires preserving fine details, such as hair strands and soft transparency, while maintaining consistency across frames. Memory-based methods achieve strong matting quality by matching current-frame features with information stored from earlier frames, but this process becomes increasingly costly as resolution grows. We present MatAnyone-E, an efficient extension of MatAnyone 2 that focuses computation where it is most needed. Our approach first performs low-resolution propagation to identify uncertain regions that require closer inspection and the memory candidates most relevant to them. It then performs high-resolution matching only for these regions using the selected memory, while reusing low-resolution matching results elsewhere. This strategy reduces both the number of locations requiring detailed matching and the amount of memory searched, while preserving the information needed to produce a complete matte. We further reduce the cost of generating high-resolution mattes with a lightweight decoder designed around measured runtime bottlenecks and trained to reproduce the original decoder's representations. Experiments show that MatAnyone-E maintains matting quality comparable to MatAnyone 2 while achieving an estimated 7.4x inference speedup and reducing peak GPU memory usage to 7.6% of the usage of MatAnyone 2 at 4K. With compilation-enabled inference on a single NVIDIA H200 GPU, it reaches 73.07 FPS at 1080p and 28.62 FPS at 4K.
• Abstract（参考訳）: 高解像度のビデオマッチングには、フレーム間の一貫性を維持しながら、ヘアストランドやソフト透明性といった細部を保存する必要がある。 メモリベースの手法は、現在のフレームの特徴と以前のフレームから格納された情報とをマッチングすることで、強力なマッチング品質を実現するが、解像度が大きくなるにつれて、このプロセスはますますコストがかかる。 我々は,MatAnyone 2の効率的な拡張であるMatAnyone-Eを提案する。 提案手法はまず,近接検査を必要とする不確実領域と最も関連性の高いメモリ候補を特定するために,低分解能伝搬を行う。 その後、選択したメモリを使用してこれらの領域に対してのみ高分解能マッチングを行い、他の領域では低分解能マッチング結果を再利用する。 この戦略は、完全なマットを生成するのに必要な情報を保持しながら、詳細なマッチングを必要とする位置の数と検索されるメモリ量の両方を減らす。 さらに、計測ランタイムボトルネックを中心に設計され、元のデコーダの表現を再現するように訓練された軽量デコーダを用いて、高解像度の行列を生成するコストを削減する。 実験の結果、MatAnyone-EはMatAnyone 2に匹敵する品質を維持しつつ、推定7.4倍の推論速度を実現し、ピーク時のGPUメモリ使用量を4KでのMatAnyone 2使用量の7.6%に削減している。 単一のNVIDIA H200 GPU上でコンパイル可能な推論では、1080pで73.07 FPS、4Kで28.62 FPSに達する。

関連論文リスト

• MEMFOF: High-Resolution Training for Memory-Efficient Multi-Frame Optical Flow Estimation [41.94295877935867]
  MEMFOFはメモリ効率のよい多フレーム光フロー法である。 メソッドは1080pの入力に対して実行時に2.09GBのGPUメモリと28.5GBのトレーニングを必要とする。 メソッドはSpringベンチマークで最初に1ピクセル (1px) の出力レートが3.289である。
  論文  参考訳（メタデータ） (2025-06-29T09:01:42Z)
• MatAnyone: Stable Video Matting with Consistent Memory Propagation [55.93983057352684]
  MatAnyoneは、ターゲットに指定されたビデオマッティングに適した堅牢なフレームワークである。 領域適応型メモリ融合による一貫したメモリ伝搬モジュールを提案する。 堅牢なトレーニングのために、ビデオマッチングのための、より大きく、高品質で多様なデータセットを提示します。
  論文  参考訳（メタデータ） (2025-01-24T17:56:24Z)
• EVEREST: Efficient Masked Video Autoencoder by Removing Redundant Spatiotemporal Tokens [57.354304637367555]
  ビデオ表現学習のための驚くほど効率的なMVAアプローチであるEVERESTを提案する。 リッチなモーション特徴を含むトークンを発見し、事前トレーニングと微調整の両方の間、非形式的なトークンを破棄する。 提案手法は,MVAの計算とメモリ要求を大幅に低減する。
  論文  参考訳（メタデータ） (2022-11-19T09:57:01Z)
• Efficient Video Semantic Segmentation with Labels Propagation and Refinement [138.55845680523908]
  本稿では,ハイブリッドGPU/CPUを用いた高精細ビデオのリアルタイムセマンティックセマンティックセマンティック化の問題に取り組む。 i) CPU上では、非常に高速な光フロー法であり、ビデオの時間的側面を利用して、あるフレームから次のフレームへ意味情報を伝達するために使用される。 高解像度フレーム(2048 x 1024)を持つ一般的なCityscapesデータセットでは、単一のGPUとCPU上で80から1000Hzの動作ポイントが提案されている。
  論文  参考訳（メタデータ） (2019-12-26T11:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。