論文の概要: Self-supervised ControlNet with Spatio-Temporal Mamba for Real-world Video Super-resolution

• arxiv url: http://arxiv.org/abs/2506.01037v1
• Date: Sun, 01 Jun 2025 14:36:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.904026
• Title: Self-supervised ControlNet with Spatio-Temporal Mamba for Real-world Video Super-resolution
• Title（参考訳）: リアルタイムビデオ超解像のための時空間マンバを用いた自己教師型制御ネット
• Authors: Shijun Shi, Jing Xu, Lijing Lu, Zhihang Li, Kai Hu,
• Abstract要約: 本稿では,自己教師付き学習とMambaを事前学習した潜在拡散モデルに組み込むことにより,ノイズバストな実世界VSRフレームワークを提案する。 Self-supervised ControlNetはHR機能をガイダンスとして使用し、LRビデオから劣化に敏感な特徴を抽出するために対照的な学習を採用している。 VSRトレーニングを安定させるために,HR-LRビデオの混合に基づく3段階トレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 9.852542365445931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing diffusion-based video super-resolution (VSR) methods are susceptible to introducing complex degradations and noticeable artifacts into high-resolution videos due to their inherent randomness. In this paper, we propose a noise-robust real-world VSR framework by incorporating self-supervised learning and Mamba into pre-trained latent diffusion models. To ensure content consistency across adjacent frames, we enhance the diffusion model with a global spatio-temporal attention mechanism using the Video State-Space block with a 3D Selective Scan module, which reinforces coherence at an affordable computational cost. To further reduce artifacts in generated details, we introduce a self-supervised ControlNet that leverages HR features as guidance and employs contrastive learning to extract degradation-insensitive features from LR videos. Finally, a three-stage training strategy based on a mixture of HR-LR videos is proposed to stabilize VSR training. The proposed Self-supervised ControlNet with Spatio-Temporal Continuous Mamba based VSR algorithm achieves superior perceptual quality than state-of-the-arts on real-world VSR benchmark datasets, validating the effectiveness of the proposed model design and training strategies.
• Abstract（参考訳）: 既存の拡散型ビデオ超解像法(VSR)は、その固有のランダム性のため、複雑な劣化や顕著なアーティファクトを高解像度ビデオに導入するおそれがある。 本稿では,自己教師付き学習とMambaを事前学習した潜伏拡散モデルに組み込むことにより,ノイズロストな実世界のVSRフレームワークを提案する。 隣接フレーム間のコンテントの整合性を確保するため,ビデオ状態空間ブロックと3D Selective Scanモジュールを用いたグローバル時空間アテンション機構を用いて拡散モデルを拡張し,コヒーレンスを低コストで強化する。 生成した詳細のアーティファクトをさらに削減するために,HR特徴をガイダンスとして活用し,コントラスト学習を用いてLRビデオから劣化に敏感な特徴を抽出する自己教師型コントロールネットを導入する。 最後に、VSRトレーニングを安定させるために、HR-LRビデオの混合に基づく3段階のトレーニング戦略を提案する。 時空間連続マンバに基づくVSRアルゴリズムを用いたセルフ教師制御ネットは,実世界のVSRベンチマークデータセットにおける最先端技術よりも優れた知覚品質を達成し,提案したモデル設計およびトレーニング戦略の有効性を検証した。

関連論文リスト

• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)
• DC-VSR: Spatially and Temporally Consistent Video Super-Resolution with Video Diffusion Prior [13.324336907242195]
  ビデオ解像度(VSR)は、低解像度(LR)から高解像度(HR)ビデオを再構成することを目的としている。 DC-VSRは、空間的および時間的に整合したVSR結果を現実的なテクスチャで生成する。 実験により、DC-VSRは空間的にも時間的にも一貫した高品質なVSRを達成し、以前のアプローチより優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-05T10:15:00Z)
• DiffVSR: Revealing an Effective Recipe for Taming Robust Video Super-Resolution Against Complex Degradations [25.756755602342942]
  本稿では,この学習負担を段階的学習を通じて体系的に分解するプログレッシブ・ラーニング・ストラテジー(PLS)を特徴とするDiffVSRを提案する。 我々のフレームワークには、追加のトレーニングオーバーヘッドを伴わずに競合時間一貫性を維持するILT(Interweaved Latent Transition)技術も組み込まれています。
  論文  参考訳（メタデータ） (2025-01-17T10:53:03Z)
• Collaborative Feedback Discriminative Propagation for Video Super-Resolution [66.61201445650323]
  ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。 不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。 伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
  論文  参考訳（メタデータ） (2024-04-06T22:08:20Z)
• Motion-Guided Latent Diffusion for Temporally Consistent Real-world Video Super-resolution [15.197746480157651]
  本稿では,事前学習した潜伏拡散モデルの強度を利用した実世界のVSRアルゴリズムを提案する。 我々は、LRビデオの時間的ダイナミクスを利用して、動作誘導損失で潜時サンプリング経路を最適化することにより拡散過程を導出する。 動作誘導潜在拡散に基づくVSRアルゴリズムは、実世界のVSRベンチマークデータセットの最先端技術よりも、知覚品質が大幅に向上する。
  論文  参考訳（メタデータ） (2023-12-01T14:40:07Z)
• Benchmark Dataset and Effective Inter-Frame Alignment for Real-World Video Super-Resolution [65.20905703823965]
  ビデオ超解像(VSR)は、高解像度(HR)動画を低解像度(LR)ビデオから再構成することを目的としており、近年大きく進歩している。 既存のVSRメソッドを複雑な劣化を伴う実世界のデータにデプロイすることは依然として困難である。 EAVSRは、提案した多層適応空間変換ネットワーク(MultiAdaSTN)を用いて、事前学習した光フロー推定ネットワークが提供するオフセットを洗練する。
  論文  参考訳（メタデータ） (2022-12-10T17:41:46Z)
• Structured Sparsity Learning for Efficient Video Super-Resolution [99.1632164448236]
  我々は、ビデオ超解像(VSR)モデルの特性に応じて、構造化スパシティ学習(SSL)と呼ばれる構造化プルーニング手法を開発する。 SSLでは,残差ブロック,リカレントネットワーク,アップサンプリングネットワークなど,VSRモデルのいくつかの重要なコンポーネントに対するプルーニングスキームを設計する。
  論文  参考訳（メタデータ） (2022-06-15T17:36:04Z)
• DynaVSR: Dynamic Adaptive Blind Video Super-Resolution [60.154204107453914]
  DynaVSRは、現実世界のビデオSRのための新しいメタラーニングベースのフレームワークである。 様々な種類の合成ボケカーネルを備えたマルチフレームダウンスケーリングモジュールをトレーニングし、入力認識適応のためのビデオSRネットワークとシームレスに結合する。 実験結果から,DynaVSRは最先端のビデオSRモデルの性能を一定に向上することがわかった。
  論文  参考訳（メタデータ） (2020-11-09T15:07:32Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。