Fugu-MT 論文翻訳(概要): Online Video Streaming Super-Resolution with Adaptive Look-Up Table Fusion

論文の概要: Online Video Streaming Super-Resolution with Adaptive Look-Up Table Fusion

arxiv url: http://arxiv.org/abs/2303.00334v1
Date: Wed, 1 Mar 2023 08:54:56 GMT
ステータス: 処理完了
システム内更新日: 2023-03-02 15:24:13.018567
Title: Online Video Streaming Super-Resolution with Adaptive Look-Up Table Fusion
Title（参考訳）: 適応型ルックアップテーブル融合によるオンラインビデオストリーミング超解像
Authors: Guanghao Yin, Xinyang Jiang, Shan Jiang, Zhenhua Han, Ningxin Zheng, Huan Yang, Donglin Bai, Haisheng Tan, Shouqian Sun, Yuqing Yang, Dongsheng Li, Lili Qiu
Abstract要約: 本稿では,オンラインビデオストリーミングデータのための新しい超解像法を提案する。リアルタイムレイテンシを実現するために、Look-Up Table (LUT) を軽量な畳み込みモジュールに組み込む。提案手法は既存のLUT法よりも優れ,高速なSR性能を実現する。
参考スコア（独自算出の注目度）: 25.986947059870094
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper focuses on Super-resolution for online video streaming data. Applying existing super-resolution methods to video streaming data is non-trivial for two reasons. First, to support application with constant interactions, video streaming has a high requirement for latency that most existing methods are less applicable, especially on low-end devices. Second, existing video streaming protocols (e.g., WebRTC) dynamically adapt the video quality to the network condition, thus video streaming in the wild varies greatly under different network bandwidths, which leads to diverse and dynamic degradations. To tackle the above two challenges, we proposed a novel video super-resolution method for online video streaming. First, we incorporate Look-Up Table (LUT) to lightweight convolution modules to achieve real-time latency. Second, for variant degradations, we propose a pixel-level LUT fusion strategy, where a set of LUT bases are built upon state-of-the-art SR networks pre-trained on different degraded data, and those LUT bases are combined with extracted weights from lightweight convolution modules to adaptively handle dynamic degradations. Extensive experiments are conducted on a newly proposed online video streaming dataset named LDV-WebRTC. All the results show that our method significantly outperforms existing LUT-based methods and offers competitive SR performance with faster speed compared to efficient CNN-based methods. Accelerated with our parallel LUT inference, our proposed method can even support online 720P video SR around 100 FPS.
Abstract（参考訳）: 本稿では,オンラインビデオストリーミングデータのスーパーレゾリューションに焦点を当てる。ビデオストリーミングデータに既存の超解像法を適用することは、2つの理由から自明ではない。まず、定常的なインタラクションを持つアプリケーションをサポートするために、ビデオストリーミングは、多くの既存の方法、特にローエンドデバイスでは適用できない、レイテンシの要求が高い。第2に、既存のビデオストリーミングプロトコル(WebRTCなど)は、動的にビデオ品質をネットワークの状態に適応するため、荒野での動画ストリーミングはネットワーク帯域で大きく異なるため、多様な動的劣化をもたらす。以上の2つの課題に対処するために,オンラインビデオストリーミングのための新しい超解像法を提案する。まず、ルックアップテーブル(lut)を軽量畳み込みモジュールに組み込んでリアルタイムレイテンシを実現する。第2に,異なる劣化データに基づいて事前訓練された最先端SRネットワーク上に一組のLUTベースを構築し,これらのLUTベースと軽量畳み込みモジュールからの抽出重みを組み合わせ,動的劣化を適応的に処理する画素レベルのLUT融合戦略を提案する。 ldv-webrtcという,新たに提案されたオンラインビデオストリーミングデータセット上で,広範な実験が行われている。これらの結果から,提案手法は既存のLUT方式よりも優れており,効率的なCNN方式に比べて高速なSR性能が得られることがわかった。並列LUT推論により、提案手法は100FPS程度のオンライン720PビデオSRもサポートできる。

関連論文リスト

Adaptive Caching for Faster Video Generation with Diffusion Transformers [52.73348147077075]
拡散変換器(DiT)はより大きなモデルと重い注意機構に依存しており、推論速度が遅くなる。本稿では,Adaptive Caching(AdaCache)と呼ばれる,ビデオDiTの高速化のためのトレーニング不要手法を提案する。また,AdaCache内で動画情報を利用するMoReg方式を導入し,動作内容に基づいて計算割り当てを制御する。
論文参考訳（メタデータ） (2024-11-04T18:59:44Z)
Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams [78.72965584414368]
人間の記憶機構をシミュレートしたビデオ言語モデルFlash-VStreamを提案する。既存のモデルと比較して、Flash-VStreamは遅延推論とVRAM消費の大幅な削減を実現している。本稿では,オンライン動画ストリーミング理解に特化して設計された質問応答ベンチマークであるVStream-QAを提案する。
論文参考訳（メタデータ） (2024-06-12T11:07:55Z)
Differentiable Resolution Compression and Alignment for Efficient Video Classification and Retrieval [16.497758750494537]
本稿では,高解像度圧縮・アライメント機構を備えた効率的な映像表現ネットワークを提案する。我々は、相性および非相性フレーム特徴を符号化するために、微分可能なコンテキスト対応圧縮モジュールを利用する。我々は,異なる解像度のフレーム特徴間のグローバル時間相関を捉えるために,新しい解像度変換器層を導入する。
論文参考訳（メタデータ） (2023-09-15T05:31:53Z)
Towards High-Quality and Efficient Video Super-Resolution via Spatial-Temporal Data Overfitting [27.302681897961588]
ディープ畳み込みニューラルネットワーク(DNN)はコンピュータビジョンの様々な分野で広く使われている。高品質で効率的なビデオ解像度アップスケーリングタスクのための新しい手法を提案する。市販の携帯電話にモデルをデプロイし,実験結果から,映像品質の高いリアルタイムビデオ解像度を実現することが確認された。
論文参考訳（メタデータ） (2023-03-15T02:40:02Z)
Online Video Super-Resolution with Convolutional Kernel Bypass Graft [42.32318235565591]
畳み込みカーネルバイパスグラフト (CKBG) という新しいカーネル知識伝達法に基づく極低遅延VSRアルゴリズムを提案する。実験結果から,提案手法は最大110FPSまでのオンラインビデオシーケンスを処理可能であることがわかった。
論文参考訳（メタデータ） (2022-08-04T05:46:51Z)
COMISR: Compression-Informed Video Super-Resolution [76.94152284740858]
ウェブやモバイルデバイスのほとんどのビデオは圧縮され、帯域幅が制限されると圧縮は厳しい。圧縮によるアーティファクトを導入せずに高解像度コンテンツを復元する圧縮インフォームドビデオ超解像モデルを提案する。
論文参考訳（メタデータ） (2021-05-04T01:24:44Z)
Multi-Density Attention Network for Loop Filtering in Video Compression [9.322800480045336]
ビデオ圧縮におけるループフィルタリングのためのオンラインスケーリングに基づく多密度注意ネットワークを提案する。実験の結果、同じビデオ品質で10.18%のビットレート削減が最新のVVC(Versatile Video Coding)規格で達成できることが示された。
論文参考訳（メタデータ） (2021-04-08T05:46:38Z)
Video Super-Resolution with Recurrent Structure-Detail Network [120.1149614834813]
ほとんどのビデオ超解像法は、時間的スライディングウィンドウ内の隣接するフレームの助けを借りて単一の参照フレームを超解する。本稿では,従来のフレームを有効かつ効率的に利用し,現行のフレームを超解する新しいビデオ超解法を提案する。
論文参考訳（メタデータ） (2020-08-02T11:01:19Z)
Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
論文参考訳（メタデータ） (2020-02-15T13:14:10Z)
Non-Cooperative Game Theory Based Rate Adaptation for Dynamic Video Streaming over HTTP [89.30855958779425]
Dynamic Adaptive Streaming over HTTP (DASH)は、新興かつ有望なマルチメディアストリーミング技術であることを示した。本稿では,サーバの限られた輸出帯域幅をマルチユーザに対して最適に割り当てるアルゴリズムを提案し,その品質・オブ・エクスペリエンス(QoE)を公平性で最大化する。
論文参考訳（メタデータ） (2019-12-27T01:19:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。