論文の概要: Blind Bitstream-corrupted Video Recovery via Metadata-guided Diffusion Model
- arxiv url: http://arxiv.org/abs/2604.13906v1
- Date: Wed, 15 Apr 2026 14:15:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-16 20:38:32.5768
- Title: Blind Bitstream-corrupted Video Recovery via Metadata-guided Diffusion Model
- Title（参考訳）: メタデータ誘導拡散モデルによるBlind Bitstream-corrupted Videoリカバリ
- Authors: Shuyun Wang, Hu Zhang, Xin Shen, Dadong Wang, Xin Yu,
- Abstract要約: 我々は、事前に定義されたマスクに依存しない新しいブラインドビデオリカバリ設定を導入する。
本稿では,メタデータ誘導拡散モデル (Metadata-Guided Diffusion Model, M-GDM) を提案する。
- 参考スコア（独自算出の注目度）: 21.33395654187404
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bitstream-corrupted video recovery aims to restore realistic content degraded during video storage or transmission. Existing methods typically assume that predefined masks of corrupted regions are available, but manually annotating these masks is labor-intensive and impractical in real-world scenarios. To address this limitation, we introduce a new blind video recovery setting that removes the reliance on predefined masks. This setting presents two major challenges: accurately identifying corrupted regions and recovering content from extensive and irregular degradations. We propose a Metadata-Guided Diffusion Model (M-GDM) to tackle these challenges. Specifically, intrinsic video metadata are leveraged as corruption indicators through a dual-stream metadata encoder that separately embeds motion vectors and frame types before fusing them into a unified representation. This representation interacts with corrupted latent features via cross-attention at each diffusion step. To preserve intact regions, we design a prior-driven mask predictor that generates pseudo masks using both metadata and diffusion priors, enabling the separation and recombination of intact and recovered regions through hard masking. To mitigate boundary artifacts caused by imperfect masks, a post-refinement module enhances consistency between intact and recovered regions. Extensive experiments demonstrate the effectiveness of our method and its superiority in blind video recovery. Code is available at: https://github.com/Shuyun-Wang/M-GDM.
- Abstract（参考訳）: Bitstreamの破損したビデオリカバリは、ビデオストレージや送信時に劣化したリアルなコンテンツを復元することを目的としている。
既存の方法では、崩壊した地域の予め定義されたマスクが利用できると仮定されるが、実際のシナリオでは、これらのマスクを手動で注釈付けすることは労働集約的で実用的ではない。
この制限に対処するために、事前に定義されたマスクに依存しない新しいブラインドビデオリカバリ設定を導入する。
この設定は、腐敗した領域を正確に識別し、広範囲で不規則な劣化からコンテンツを回復する、という2つの大きな課題を提示している。
本稿では,メタデータ誘導拡散モデル (Metadata-Guided Diffusion Model, M-GDM) を提案する。
特に、本質的なビデオメタデータは、モーションベクトルとフレームタイプを別々に埋め込んだデュアルストリームメタデータエンコーダを通じて、デバッションインジケータとして活用され、それらを統一表現に融合させる。
この表現は、各拡散ステップにおける交差アテンションを介して、破損した潜在特徴と相互作用する。
そこで我々は,無傷領域を保存するために,メタデータと拡散先行値の両方を用いて擬似マスクを生成するマスク予測器を設計し,ハードマスクによる無傷領域と回復領域の分離と再結合を可能にする。
不完全なマスクによる境界アーチファクトを緩和するため、保留後のモジュールは、無傷領域と回復領域との整合性を高める。
広汎な実験により,本手法の有効性とブラインドビデオ再生における優位性を実証した。
コードは、https://github.com/Shuyun-Wang/M-GDMで入手できる。
関連論文リスト
- ExposeAnyone: Personalized Audio-to-Expression Diffusion Models Are Robust Zero-Shot Face Forgery Detectors [58.45131932883374]
ビデオ中のディープフェイクを検出するための完全自己教師型アプローチを提案する。
本モデルでは,拡散再構成誤差を用いて,疑わしい映像とパーソナライズされた被写体との同一性距離を算出する。
本手法は, ボケや圧縮などの汚損に対して極めて堅牢であり, 現実の顔偽造検出への適用性を強調している。
論文 参考訳（メタデータ） (2026-01-05T18:59:54Z) - Backdoor Attacks on Prompt-Driven Video Segmentation Foundation Models [21.15174669411218]
我々は,プロンプト駆動VSFMに適した最初のバックドアフレームワークであるBadVSFMを提案する。
BadVSFMは、(1)イメージエンコーダを操り、トリガーフレームを指定されたターゲットへの埋め込みにマップし、クリーンフレームをクリーンリファレンスエンコーダにアライメントする。
実験により、BadVSFMは多様なトリガーとプロンプトの下で強力で制御可能なバックドア効果を達成することが示された。
論文 参考訳（メタデータ） (2025-12-26T14:48:58Z) - DirectSwap: Mask-Free Cross-Identity Training and Benchmarking for Expression-Consistent Video Head Swapping [58.2549561389375]
ビデオヘッドスワップは、顔のアイデンティティ、頭の形、ヘアスタイルなど、ビデオ対象の頭部全体を参照画像に置き換えることを目的としている。
地対交換データがないため、従来の手法はビデオ内の同一人物のクロスフレームペアをトレーニングする。
我々は、画像U-Netをビデオ拡散モデルに拡張する、マスクのない直接ビデオヘッドスワッピングフレームワークであるDirectSwapを提案する。
論文 参考訳（メタデータ） (2025-12-10T08:31:28Z) - Towards Blind Bitstream-corrupted Video Recovery via a Visual Foundation Model-driven Framework [28.383016293452652]
ビットストリームの破損したビデオリカバリは、困難かつ未調査の課題として浮上した。
本稿では,視覚的基盤モデルと回復モデルを統合した最初の視覚的ビットストリーム崩壊ビデオ回復フレームワークを提案する。
本手法は,手動でラベル付けしたマスクシーケンスを必要とせずに,ビットストリームの破損した映像の再生において優れた性能を実現する。
論文 参考訳（メタデータ） (2025-07-30T08:31:54Z) - DiffusionFake: Enhancing Generalization in Deepfake Detection via Guided Stable Diffusion [94.46904504076124]
ディープフェイク技術は、顔交換を極めて現実的にし、偽造された顔コンテンツの使用に対する懸念を高めている。
既存の方法は、顔操作の多様な性質のため、目に見えない領域に一般化するのに苦労することが多い。
顔偽造者の生成過程を逆転させて検出モデルの一般化を促進する新しいフレームワークであるDiffusionFakeを紹介する。
論文 参考訳（メタデータ） (2024-10-06T06:22:43Z) - Unified Auto-Encoding with Masked Diffusion [15.264296748357157]
我々はUMD(Unified Masked Diffusion)と呼ばれる,統合された自己監督的目標を提案する。
UMDは、パッチベースとノイズベースの破損テクニックを1つの自動エンコーディングフレームワークに組み合わせている。
下流の生成および表現学習タスクにおいて、高いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-06-25T16:24:34Z) - Siamese Masked Autoencoders [76.35448665609998]
ビデオから視覚的対応を学習するために,Siamese Masked Autoencoders(SiamMAE)を提案する。
SiamMAEはランダムにサンプリングされたビデオフレームのペアで動作し、非対称にそれらをマスクする。
ビデオオブジェクトのセグメンテーション、キーポイントのプロパゲーション、セマンティック部分のプロパゲーションタスクにおいて、最先端の自己管理手法よりも優れています。
論文 参考訳（メタデータ） (2023-05-23T17:59:46Z) - Mask to reconstruct: Cooperative Semantics Completion for Video-text
Retrieval [19.61947785487129]
Mask for Semantics Completion (MASCOT) - 意味に基づくマスキングモデル。
我々のMASCOTは4つの主要なテキストビデオ検索ベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-05-13T12:31:37Z) - Self-Supervised Masked Convolutional Transformer Block for Anomaly
Detection [122.4894940892536]
本稿では, 自己監督型マスク型畳み込み変圧器ブロック (SSMCTB) について述べる。
本研究では,従来の自己教師型予測畳み込み抑止ブロック(SSPCAB)を3次元マスク付き畳み込み層,チャンネルワイドアテンション用トランスフォーマー,およびハマーロスに基づく新たな自己教師型目標を用いて拡張する。
論文 参考訳（メタデータ） (2022-09-25T04:56:10Z) - Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。
符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。
私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
論文 参考訳（メタデータ） (2021-04-28T13:17:47Z) - OLED: One-Class Learned Encoder-Decoder Network with Adversarial Context
Masking for Novelty Detection [1.933681537640272]
新規性検出は、対象クラスの分布に属さないサンプルを認識するタスクである。
ディープオートエンコーダは多くの教師なしのノベルティ検出法のベースとして広く使われている。
我々は,MaskモジュールとReconstructorという2つの競合するネットワークからなるフレームワークを設計した。
論文 参考訳（メタデータ） (2021-03-27T17:59:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。