論文の概要: Online Streaming Video Super-Resolution with Convolutional Look-Up Table
- arxiv url: http://arxiv.org/abs/2303.00334v3
- Date: Mon, 19 Jun 2023 02:49:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 11:21:43.581761
- Title: Online Streaming Video Super-Resolution with Convolutional Look-Up Table
- Title（参考訳）: 進化的なルックアップテーブルによるオンラインストリーミングビデオの超解法
- Authors: Guanghao Yin, Zefan Qu, Xinyang Jiang, Shan Jiang, Zhenhua Han,
Ningxin Zheng, Huan Yang, Yuqing Yang, Dongsheng Li, Lili Qiu
- Abstract要約: 本稿では,オンライン・ストリーミング・ビデオ・スーパーレゾリューションの稀な問題設定に焦点を当てる。
LDV-WebRTCと呼ばれる新しいベンチマークデータセットは、現実世界のオンラインストリーミングシステムに基づいて構築されている。
そこで我々は, 異なる劣化に特化したLUTのセットを構築し, 適応的に組み合わせて, 異なる劣化に対処する, 実験用LUTモジュールを提案する。
- 参考スコア（独自算出の注目度）: 22.283008203510047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online video streaming has fundamental limitations on the transmission
bandwidth and computational capacity and super-resolution is a promising
potential solution. However, applying existing video super-resolution methods
to online streaming is non-trivial. Existing video codecs and streaming
protocols (\eg, WebRTC) dynamically change the video quality both spatially and
temporally, which leads to diverse and dynamic degradations. Furthermore,
online streaming has a strict requirement for latency that most existing
methods are less applicable. As a result, this paper focuses on the rarely
exploited problem setting of online streaming video super resolution. To
facilitate the research on this problem, a new benchmark dataset named
LDV-WebRTC is constructed based on a real-world online streaming system.
Leveraging the new benchmark dataset, we proposed a novel method specifically
for online video streaming, which contains a convolution and Look-Up Table
(LUT) hybrid model to achieve better performance-latency trade-off. To tackle
the changing degradations, we propose a mixture-of-expert-LUT module, where a
set of LUT specialized in different degradations are built and adaptively
combined to handle different degradations. Experiments show our method achieves
720P video SR around 100 FPS, while significantly outperforms existing
LUT-based methods and offers competitive performance compared to efficient
CNN-based methods.
- Abstract（参考訳）: オンラインビデオストリーミングは伝送帯域幅と計算容量に根本的な制限があり、スーパーレゾリューションは有望な解決策である。
しかし、既存のビデオ超解像法をオンラインストリーミングに適用することは簡単ではない。
既存のビデオコーデックとストリーミングプロトコル(\eg, WebRTC)は、ビデオの品質を空間的にも時間的にも動的に変化させ、多様な動的劣化をもたらす。
さらに、オンラインストリーミングには、既存のほとんどのメソッドが適用できないようなレイテンシの厳しい要件がある。
その結果,オンライン・ストリーミング・ビデオの超解像の難解な問題設定に焦点をあてた。
この問題の研究を容易にするため、LDV-WebRTCと呼ばれる新しいベンチマークデータセットが、実世界のオンラインストリーミングシステムに基づいて構築されている。
新しいベンチマークデータセットを活用することで、コンボリューションとLook-Up Table(LUT)ハイブリッドモデルを含むオンラインビデオストリーミングに特化した新しい手法を提案し、パフォーマンスとレイテンシのトレードオフを改善する。
劣化変化に対処するため, 異なる劣化に特化したLUTのセットを構築し, 適応的に組み合わせて異なる劣化に対処する, 実験用LUTモジュールを提案する。
提案手法は720pビデオsrを約100fpsで達成すると同時に,既存のlutベースの手法を大幅に上回り,効率的なcnnベースの手法と比較して競合性能を提供する。
関連論文リスト
- Adaptive Caching for Faster Video Generation with Diffusion Transformers [52.73348147077075]
拡散変換器(DiT)はより大きなモデルと重い注意機構に依存しており、推論速度が遅くなる。
本稿では,Adaptive Caching(AdaCache)と呼ばれる,ビデオDiTの高速化のためのトレーニング不要手法を提案する。
また,AdaCache内で動画情報を利用するMoReg方式を導入し,動作内容に基づいて計算割り当てを制御する。
論文 参考訳（メタデータ） (2024-11-04T18:59:44Z) - Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams [78.72965584414368]
人間の記憶機構をシミュレートしたビデオ言語モデルFlash-VStreamを提案する。
既存のモデルと比較して、Flash-VStreamは遅延推論とVRAM消費の大幅な削減を実現している。
本稿では,オンライン動画ストリーミング理解に特化して設計された質問応答ベンチマークであるVStream-QAを提案する。
論文 参考訳（メタデータ） (2024-06-12T11:07:55Z) - Differentiable Resolution Compression and Alignment for Efficient Video
Classification and Retrieval [16.497758750494537]
本稿では,高解像度圧縮・アライメント機構を備えた効率的な映像表現ネットワークを提案する。
我々は、相性および非相性フレーム特徴を符号化するために、微分可能なコンテキスト対応圧縮モジュールを利用する。
我々は,異なる解像度のフレーム特徴間のグローバル時間相関を捉えるために,新しい解像度変換器層を導入する。
論文 参考訳（メタデータ） (2023-09-15T05:31:53Z) - Towards High-Quality and Efficient Video Super-Resolution via
Spatial-Temporal Data Overfitting [27.302681897961588]
ディープ畳み込みニューラルネットワーク(DNN)はコンピュータビジョンの様々な分野で広く使われている。
高品質で効率的なビデオ解像度アップスケーリングタスクのための新しい手法を提案する。
市販の携帯電話にモデルをデプロイし,実験結果から,映像品質の高いリアルタイムビデオ解像度を実現することが確認された。
論文 参考訳（メタデータ） (2023-03-15T02:40:02Z) - Online Video Super-Resolution with Convolutional Kernel Bypass Graft [42.32318235565591]
畳み込みカーネルバイパスグラフト (CKBG) という新しいカーネル知識伝達法に基づく極低遅延VSRアルゴリズムを提案する。
実験結果から,提案手法は最大110FPSまでのオンラインビデオシーケンスを処理可能であることがわかった。
論文 参考訳（メタデータ） (2022-08-04T05:46:51Z) - COMISR: Compression-Informed Video Super-Resolution [76.94152284740858]
ウェブやモバイルデバイスのほとんどのビデオは圧縮され、帯域幅が制限されると圧縮は厳しい。
圧縮によるアーティファクトを導入せずに高解像度コンテンツを復元する圧縮インフォームドビデオ超解像モデルを提案する。
論文 参考訳（メタデータ） (2021-05-04T01:24:44Z) - Multi-Density Attention Network for Loop Filtering in Video Compression [9.322800480045336]
ビデオ圧縮におけるループフィルタリングのためのオンラインスケーリングに基づく多密度注意ネットワークを提案する。
実験の結果、同じビデオ品質で10.18%のビットレート削減が最新のVVC(Versatile Video Coding)規格で達成できることが示された。
論文 参考訳（メタデータ） (2021-04-08T05:46:38Z) - Video Super-Resolution with Recurrent Structure-Detail Network [120.1149614834813]
ほとんどのビデオ超解像法は、時間的スライディングウィンドウ内の隣接するフレームの助けを借りて単一の参照フレームを超解する。
本稿では,従来のフレームを有効かつ効率的に利用し,現行のフレームを超解する新しいビデオ超解法を提案する。
論文 参考訳（メタデータ） (2020-08-02T11:01:19Z) - Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。
本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
論文 参考訳（メタデータ） (2020-02-15T13:14:10Z) - Non-Cooperative Game Theory Based Rate Adaptation for Dynamic Video
Streaming over HTTP [89.30855958779425]
Dynamic Adaptive Streaming over HTTP (DASH)は、新興かつ有望なマルチメディアストリーミング技術であることを示した。
本稿では,サーバの限られた輸出帯域幅をマルチユーザに対して最適に割り当てるアルゴリズムを提案し,その品質・オブ・エクスペリエンス(QoE)を公平性で最大化する。
論文 参考訳（メタデータ） (2019-12-27T01:19:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。