論文の概要: Online Video Quality Enhancement with Spatial-Temporal Look-up Tables

• arxiv url: http://arxiv.org/abs/2311.13616v2
• Date: Wed, 10 Jul 2024 14:06:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 22:09:30.949936
• Title: Online Video Quality Enhancement with Spatial-Temporal Look-up Tables
• Title（参考訳）: 時空間ルックアップテーブルによるオンライン映像品質向上
• Authors: Zefan Qu, Xinyang Jiang, Yifan Yang, Dongsheng Li, Cairong Zhao,
• Abstract要約: ビデオ会議やクラウドゲームなど、オンラインビデオベースのアプリケーションでは、レイテンシの低さが不可欠だ。 既存の品質向上手法は、速度の遅い推論速度と、将来のフレームに含まれる時間情報の要求によって制限される。 本稿では,オンラインビデオ品質向上(Online-VQE)問題に対処するために,STLVQEを提案する。
• 参考スコア（独自算出の注目度）: 42.07242907586958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low latency rates are crucial for online video-based applications, such as video conferencing and cloud gaming, which make improving video quality in online scenarios increasingly important. However, existing quality enhancement methods are limited by slow inference speed and the requirement for temporal information contained in future frames, making it challenging to deploy them directly in online tasks. In this paper, we propose a novel method, STLVQE, specifically designed to address the rarely studied online video quality enhancement (Online-VQE) problem. Our STLVQE designs a new VQE framework which contains a Module-Agnostic Feature Extractor that greatly reduces the redundant computations and redesign the propagation, alignment, and enhancement module of the network. A Spatial-Temporal Look-up Tables (STL) is proposed, which extracts spatial-temporal information in videos while saving substantial inference time. To the best of our knowledge, we are the first to exploit the LUT structure to extract temporal information in video tasks. Extensive experiments on the MFQE 2.0 dataset demonstrate that our STLVQE achieves a satisfactory performance-speed trade-off.
• Abstract（参考訳）: 低レイテンシは、ビデオ会議やクラウドゲームのようなオンラインビデオベースのアプリケーションにとって重要であり、オンラインシナリオにおけるビデオ品質の改善がますます重要になっている。 しかし、既存の品質向上手法は、予測速度の遅いことと、将来のフレームに含まれる時間情報の要求によって制限されており、オンラインタスクにそれらを直接デプロイすることは困難である。 本稿では,オンラインビデオ品質向上(Online-VQE)問題に対処するための新しい手法であるSTLVQEを提案する。 我々のSTLVQEは新しいVQEフレームワークを設計し、モジュール非依存の機能エクストラクタは冗長な計算を大幅に削減し、ネットワークの伝搬、アライメント、拡張モジュールを再設計する。 STL(Spatial-Temporal Look-up Tables)を提案する。 我々の知る限りでは、ビデオタスクの時間情報を抽出するために、初めてLUT構造を利用する。 MFQE 2.0データセットに関する大規模な実験は、我々のSTLVQEが良好な性能と速度のトレードオフを達成することを実証している。

関連論文リスト

• Video-STaR: Self-Training Enables Video Instruction Tuning with Any Supervision [24.568643475808564]
  Video Self-Training with augmented Reasoning (Video-STaR)は、最初のビデオセルフトレーニングアプローチである。 Video-STaRは、ビデオインストラクションチューニングにラベル付きビデオデータセットを利用することができる。
  論文  参考訳（メタデータ） (2024-07-08T17:59:42Z)
• Enhancing Blind Video Quality Assessment with Rich Quality-aware Features [79.18772373737724]
  ソーシャルメディアビデオの視覚的品質評価(BVQA)モデルを改善するための,シンプルだが効果的な手法を提案する。 本稿では,BIQAモデルとBVQAモデルを用いて,事前学習したブラインド画像品質評価(BIQA)から,リッチな品質認識機能について検討する。 実験により,提案モデルが3つのソーシャルメディアVQAデータセット上で最高の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-14T16:32:11Z)
• STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction [78.129039340528]
  本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。 提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。 実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-09T09:49:04Z)
• Fast Online Video Super-Resolution with Deformable Attention Pyramid [172.16491820970646]
  ビデオスーパーレゾリューション(VSR)には、ビデオストリーミングやテレビなど、厳格な因果性、リアルタイム、レイテンシの制約を課す多くのアプリケーションがある。 変形性アテンションピラミッド(DAP)に基づく繰り返しVSRアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-02-03T17:49:04Z)
• Enhanced Spatio-Temporal Interaction Learning for Video Deraining: A Faster and Better Framework [93.37833982180538]
  不要な雨がビデオの可視性を阻害し、ほとんどの屋外ビジョンシステムの堅牢性を低下させるため、ビデオ排水はコンピュータビジョンの重要なタスクです。 拡張時空間相互作用ネットワーク(ESTINet)と呼ばれる新しいエンドツーエンドのデラミニングフレームワークを提案する。 ESTINetは、現在の最先端ビデオの画質とスピードを大幅に向上させる。
  論文  参考訳（メタデータ） (2021-03-23T05:19:35Z)
• RAPIQUE: Rapid and Accurate Video Quality Prediction of User Generated Content [44.03188436272383]
  RAPIQUE(Rapid and Accurate Video Quality Evaluator)をダブする、コンテンツのための効率的で効率的なビデオ品質モデルを紹介します。 RAPIQUEは、品質認識のシーン統計機能と意味認識の深い畳み込み機能の両方の利点を組み合わせて活用します。 最近の大規模なビデオ品質データベースに関する実験結果から、RAPIQUEはすべてのデータセットで最高のパフォーマンスを計算コストを大幅に削減できます。
  論文  参考訳（メタデータ） (2021-01-26T17:23:46Z)
• An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time Video Enhancement [132.60976158877608]
  対比ビデオの例から直接学習する効率的な対比ビデオ強化フレームワークを提案する。 特に,空間的情報と時間的情報の暗黙的統合のための局所的モジュールとグローバルモジュールからなる新しい再帰的セルを導入する。 提案する設計では,フレーム間の情報伝達を効率的に行うことができ,複雑なネットワークの必要性を低減できる。
  論文  参考訳（メタデータ） (2020-12-24T00:03:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。