論文の概要: Online Video Super-Resolution with Convolutional Kernel Bypass Graft

• arxiv url: http://arxiv.org/abs/2208.02470v1
• Date: Thu, 4 Aug 2022 05:46:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-05 12:42:25.224814
• Title: Online Video Super-Resolution with Convolutional Kernel Bypass Graft
• Title（参考訳）: 畳み込みカーネルバイパスグラフトを用いたオンラインビデオ超解像
• Authors: Jun Xiao, Xinyang Jiang, Ningxin Zheng, Huan Yang, Yifan Yang, Yuqing Yang, Dongsheng Li, Kin-Man Lam
• Abstract要約: 畳み込みカーネルバイパスグラフト (CKBG) という新しいカーネル知識伝達法に基づく極低遅延VSRアルゴリズムを提案する。 実験結果から,提案手法は最大110FPSまでのオンラインビデオシーケンスを処理可能であることがわかった。
• 参考スコア（独自算出の注目度）: 42.32318235565591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning-based models have achieved remarkable performance in video super-resolution (VSR) in recent years, but most of these models are less applicable to online video applications. These methods solely consider the distortion quality and ignore crucial requirements for online applications, e.g., low latency and low model complexity. In this paper, we focus on online video transmission, in which VSR algorithms are required to generate high-resolution video sequences frame by frame in real time. To address such challenges, we propose an extremely low-latency VSR algorithm based on a novel kernel knowledge transfer method, named convolutional kernel bypass graft (CKBG). First, we design a lightweight network structure that does not require future frames as inputs and saves extra time costs for caching these frames. Then, our proposed CKBG method enhances this lightweight base model by bypassing the original network with ``kernel grafts'', which are extra convolutional kernels containing the prior knowledge of external pretrained image SR models. In the testing phase, we further accelerate the grafted multi-branch network by converting it into a simple single-path structure. Experiment results show that our proposed method can process online video sequences up to 110 FPS, with very low model complexity and competitive SR performance.
• Abstract（参考訳）: 近年、深層学習に基づくモデルはビデオ超解像(VSR)において顕著な性能を達成しているが、これらのモデルのほとんどはオンラインビデオアプリケーションには適用できない。 これらの手法は歪み品質のみを考慮し、例えば低レイテンシや低モデルの複雑さなど、オンラインアプリケーションに必要な要件を無視する。 本稿では,VSRアルゴリズムがフレームをリアルタイムに高精細な映像列を生成するために必要となるオンラインビデオ伝送に注目した。 このような課題に対処するために,新しいカーネル知識伝達手法である畳み込みカーネルバイパスグラフト (CKBG) に基づく極低レイテンシなVSRアルゴリズムを提案する。 まず、将来のフレームを入力として必要とせず、これらのフレームをキャッシュするのに余分なコストを節約できる軽量ネットワーク構造を設計する。 次に,本提案手法は,外部事前学習画像srモデルの知識を含む超畳み込みカーネルである ``kernel grafts''' で元のネットワークをバイパスすることで,この軽量ベースモデルを強化する。 テストフェーズでは、移植されたマルチブランチネットワークを単純な単一パス構造に変換することにより、さらに加速する。 実験の結果,提案手法は最大110fpsのオンラインビデオシーケンスを処理可能であり,モデルの複雑さとsr性能が極めて低いことがわかった。

関連論文リスト

• NVRC: Neural Video Representation Compression [13.131842990481038]
  我々は、新しいINRベースのビデオ圧縮フレームワーク、Neural Video Representation Compression (NVRC)を提案する。 NVRCは初めて、INRベースのビデオをエンドツーエンドで最適化することができる。 実験の結果,NVRCは従来のベンチマークエントロピーよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-11T16:57:12Z)
• Boosting Neural Representations for Videos with a Conditional Decoder [28.073607937396552]
  Inlicit Neural representations (INRs) は、ビデオストレージと処理において有望なアプローチとして登場した。 本稿では,現在の暗黙的ビデオ表現手法のための普遍的なブースティングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-28T08:32:19Z)
• A Codec Information Assisted Framework for Efficient Compressed Video Super-Resolution [15.690562510147766]
  リカレントニューラルネットワークアーキテクチャを用いたビデオ超解法(VSR)は、長距離時間依存性の効率的なモデリングのため、有望なソリューションである。 圧縮ビデオの繰り返しVSRモデルの高速化と高速化を目的としたコーデック情報支援フレームワーク(CIAF)を提案する。
  論文  参考訳（メタデータ） (2022-10-15T08:48:29Z)
• Multi-encoder Network for Parameter Reduction of a Kernel-based Interpolation Architecture [10.08097582267397]
  畳み込みニューラルネットワーク(CNN)はこの分野での最近の進歩の最前線にある。 これらのネットワークの多くは多くのパラメータを必要とし、多くのパラメータは重い重荷を意味する。 本稿では,一般的なフローレスカーネルネットワークにおけるパラメータ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-05-13T16:02:55Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)
• Fast Online Video Super-Resolution with Deformable Attention Pyramid [172.16491820970646]
  ビデオスーパーレゾリューション(VSR)には、ビデオストリーミングやテレビなど、厳格な因果性、リアルタイム、レイテンシの制約を課す多くのアプリケーションがある。 変形性アテンションピラミッド(DAP)に基づく繰り返しVSRアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-02-03T17:49:04Z)
• Self-Supervised Adaptation for Video Super-Resolution [7.26562478548988]
  シングルイメージスーパーリゾリューション(SISR)ネットワークは、特定の入力画像にネットワークパラメータを適応させることができます。 従来のビデオスーパーレゾリューション(VSR)ネットワークがビデオフレームをテストするためにパラメータを適応できるようにする新しい学習アルゴリズムを紹介します。
  論文  参考訳（メタデータ） (2021-03-18T08:30:24Z)
• DynaVSR: Dynamic Adaptive Blind Video Super-Resolution [60.154204107453914]
  DynaVSRは、現実世界のビデオSRのための新しいメタラーニングベースのフレームワークである。 様々な種類の合成ボケカーネルを備えたマルチフレームダウンスケーリングモジュールをトレーニングし、入力認識適応のためのビデオSRネットワークとシームレスに結合する。 実験結果から,DynaVSRは最先端のビデオSRモデルの性能を一定に向上することがわかった。
  論文  参考訳（メタデータ） (2020-11-09T15:07:32Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。