論文の概要: RelayVSR: Large-Small Model Collaboration for Efficient Real-World Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2609.37850v1
• Date: Tue, 29 Sep 2026 15:42:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.699354
• Title: RelayVSR: Large-Small Model Collaboration for Efficient Real-World Video Super-Resolution
• Title（参考訳）: RelayVSR:高効率リアルタイムビデオスーパーリゾリューションのための大規模モデルコラボレーション
• Abstract要約: RelayVSRは、スパース生成機構上に構築されたストリーミングVSRフレームワークである。 1台のNVIDIA A100 80GBの1080pで、15フレーム間隔のデュアルエンドポイントRelayVSRが29.29 FPS、13.82GBのピークGPUメモリ、0.327のファーストフレームモデルのレイテンシに到達した。
• 参考スコア（独自算出の注目度）: 15.84844565548809
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large generative models can recover realistic detail in real-world video super-resolution (VSR), but processing an entire video with them is computationally expensive. In this work, we present RelayVSR, a streaming VSR framework built on the Sparse Generative Relay mechanism. A large generative model generates reference latents for sparse keyframes, while a lightweight VSR network uses these references and low-resolution video to super-resolve every frame. The lightweight VSR network, implemented as a Dual-Memory Video Transformer, reuses keyframe information across frames and updates recent video context, supporting first-keyframe conditioning and dual-endpoint conditioning with bounded lookahead. However, errors in shared keyframes can propagate and accumulate across output frames, making keyframe quality alone an insufficient optimization target. We address this collaboration gap with Video-Aware Reference Optimization (VARO), which uses reinforcement learning to update the large generative model with two reward levels: a system-level reward evaluates videos produced by the fixed lightweight VSR network, while a reference-level reward evaluates decoded keyframe quality. VARO improves final video quality over direct joint training, and its dual-level rewards outperform a system-level reward alone. At 1080p on a single NVIDIA A100 80GB, dual-endpoint RelayVSR with a 15-frame keyframe interval reaches 29.29 FPS, 13.82 GB peak GPU memory, and 0.327 s first-frame model latency, compared with 7.80 FPS, 24.447 GB, and 2.83 s for FlashVSR-Tiny. The code is available at https://github.com/kopperx/RelayVSR.
• Abstract（参考訳）: 大規模な生成モデルは、実世界のビデオスーパーレゾリューション(VSR)において現実的なディテールを回復することができるが、ビデオ全体を処理するのは計算コストがかかる。 本稿では,Sparse Generative Relay機構上に構築されたストリーミングVSRフレームワークであるRelayVSRを紹介する。 大きな生成モデルがスパースキーフレームの参照潜在値を生成する一方、軽量なVSRネットワークはこれらの参照と低解像度ビデオを使用してすべてのフレームを超解凍する。 デュアルメモリビデオ変換器として実装された軽量なVSRネットワークは、フレーム間のキーフレーム情報を再利用し、最近のビデオコンテキストを更新する。 しかし、共有キーフレームのエラーは、出力フレームをまたいで伝播して蓄積し、キーフレームの品質だけでは不十分な最適化ターゲットとなる。 システムレベルの報酬は固定された軽量VSRネットワークで生成されたビデオを評価するが、基準レベルの報酬は復号化キーフレームの品質を評価する。 VAROは、直接関節トレーニングよりも最終的なビデオ品質を改善し、デュアルレベルの報酬はシステムレベルの報酬よりも優れています。 1台のNVIDIA A100 80GBの1080pで、15フレームのキーフレーム間隔を持つデュアルエンドポイントのRelayVSRは、FlashVSR-Tinyの7.80 FPS、24.447 GB、2.83 sと比較して、29.29 FPS、13.82 GBのピークGPUメモリ、0.327のファーストフレームモデル遅延に達した。 コードはhttps://github.com/kopperx/RelayVSRで公開されている。

関連論文リスト

• SparkVSR: Interactive Video Super-Resolution via Sparse Keyframe Propagation [22.301957762395237]
  Video Super-Resolution (VSR)は、低解像度(LR)推定から高品質なフレームを復元することを目的としている。 本稿では,スパースをシンプルかつ表現力のある制御信号とする,SparkVSRと呼ばれる対話型VSRフレームワークを提案する。 我々は、CLIP-IQA、DOVER、MUSIQベンチマークで24.6%、21.8%、および5.6%のベースラインを越え、時間的一貫性と強い回復品質を実証した。
  論文  参考訳（メタデータ） (2026-03-17T17:59:30Z)
• ReBotNet: Fast Real-time Video Enhancement [59.08038313427057]
  ほとんどの復元ネットワークは遅く、高い計算ボトルネックがあり、リアルタイムビデオ拡張には使用できない。 本研究では,ライブビデオ通話やビデオストリームなどの実用的なユースケースをリアルタイムに拡張するための,効率的かつ高速なフレームワークを設計する。 提案手法を評価するために,実世界のビデオ通話とストリーミングのシナリオを示す2つの新しいデータセットをエミュレートし,ReBotNetがより少ない計算,メモリ要求の低減,より高速な推論時間で既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-23T17:58:05Z)
• A Codec Information Assisted Framework for Efficient Compressed Video Super-Resolution [15.690562510147766]
  リカレントニューラルネットワークアーキテクチャを用いたビデオ超解法(VSR)は、長距離時間依存性の効率的なモデリングのため、有望なソリューションである。 圧縮ビデオの繰り返しVSRモデルの高速化と高速化を目的としたコーデック情報支援フレームワーク(CIAF)を提案する。
  論文  参考訳（メタデータ） (2022-10-15T08:48:29Z)
• Sliding Window Recurrent Network for Efficient Video Super-Resolution [0.0]
  ビデオ超解像(VSR)は、高解像度のフレームを低解像度の入力列から復元するタスクである。 本研究では,テキストスライディングウィンドウをベースとしたリカレントネットワーク(SWRN)を提案する。 筆者らはREDSデータセットを用いて,提案手法をモバイルデバイスに適用し,視覚的に快適な結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-08-24T15:23:44Z)
• VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
  ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。 本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:45:49Z)
• Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
  本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。 RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-05T10:36:09Z)
• BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment [90.81396836308085]
  我々は,伝播とアライメントの強化による再生フレームワークの強化により,映像情報をより効果的に活用できることを示す。 我々のモデルである BasicVSR++ は PSNR で BasicVSR を 0.82 dB で上回っている。 BasicVSR++は圧縮ビデオ強化などの他のビデオ復元タスクによく一般化される。
  論文  参考訳（メタデータ） (2021-04-27T17:58:31Z)
• Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution [100.11355888909102]
  時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。 入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:23Z)
• Deep Space-Time Video Upsampling Networks [47.62807427163614]
  ビデオ超解像(VSR)とフレーム(FI)は伝統的なコンピュータビジョンの問題である。 本稿では, VSR と FI を効率よく融合して, 時空ビデオアップサンプリングを行うためのエンドツーエンドフレームワークを提案する。 その結果, 時間(x7速)とパラメータ数(30%)を基準線と比較し, 定量的, 質的にも良好な結果が得られた。
  論文  参考訳（メタデータ） (2020-04-06T07:04:21Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。