論文の概要: Perceptual Coding for Compressed Video Understanding: A New Framework
and Benchmark
- arxiv url: http://arxiv.org/abs/2202.02813v1
- Date: Sun, 6 Feb 2022 16:29:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 17:26:45.321455
- Title: Perceptual Coding for Compressed Video Understanding: A New Framework
and Benchmark
- Title(参考訳): 圧縮ビデオ理解のための知覚コーディング:新しいフレームワークとベンチマーク
- Authors: Yuan Tian, Guo Lu, Yichao Yan, Guangtao Zhai, Li Chen, Zhiyong Gao
- Abstract要約: 本稿では,ビデオ理解のための最初のプログラミングフレームワークを提案する。このフレームワークでは,別の学習可能な知覚ビットストリームを導入し,同時にビデオビットストリームを転送する。
このフレームワークは,(1)産業用ビデオの高能率コンテンツ符号化,(2)ニューラルネットワーク(NN)のフレキシブルパーセプチュアル符号化,という2つの世界の長所を享受することができる。
- 参考スコア(独自算出の注目度): 57.23523738351178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most video understanding methods are learned on high-quality videos. However,
in most real-world scenarios, the videos are first compressed before the
transportation and then decompressed for understanding. The decompressed videos
are degraded in terms of perceptual quality, which may degenerate the
downstream tasks. To address this issue, we propose the first coding framework
for compressed video understanding, where another learnable perceptual
bitstream is introduced and simultaneously transported with the video
bitstream. With the sophisticatedly designed optimization target and network
architectures, this new stream largely boosts the perceptual quality of the
decoded videos yet with a small bit cost. Our framework can enjoy the best of
both two worlds, (1) highly efficient content-coding of industrial video codec
and (2) flexible perceptual-coding of neural networks (NNs). Finally, we build
a rigorous benchmark for compressed video understanding over four different
compression levels, six large-scale datasets, and two popular tasks. The
proposed Dual-bitstream Perceptual Video Coding framework Dual-PVC consistently
demonstrates significantly stronger performances than the baseline codec under
the same bitrate level.
- Abstract(参考訳): ほとんどのビデオ理解方法は高品質のビデオで学習される。
しかし、現実世界のほとんどのシナリオでは、ビデオは最初に輸送前に圧縮され、理解するために圧縮される。
圧縮されたビデオは知覚品質で劣化し、下流のタスクは劣化する可能性がある。
この問題に対処するために、ビデオ理解のための最初のコーディングフレームワークを提案し、別の学習可能な知覚ビットストリームを導入し、同時にビデオビットストリームで転送する。
高度に設計された最適化ターゲットとネットワークアーキテクチャにより、この新しいストリームはデコードされたビデオの知覚的品質を大幅に向上し、わずかなコストがかかる。
本フレームワークは,(1)産業用ビデオコーデックの高効率なコンテントコーディング,(2)ニューラルネットワーク(NN)のフレキシブルなパーセプチュアルコーディングという2つの世界の長所を享受することができる。
最後に、4つの異なる圧縮レベル、6つの大規模データセット、および2つの一般的なタスクに対する圧縮ビデオ理解のための厳密なベンチマークを構築した。
提案したDual-bitstream Perceptual Video CodingフレームワークであるDual-PVCは、同じビットレートレベルでベースラインコーデックよりも大幅にパフォーマンスが向上している。
関連論文リスト
- Lightweight Hybrid Video Compression Framework Using Reference-Guided
Restoration Network [12.033330902093152]
本稿では、従来のビデオ(HEVC/VVC)、ロスレス画像、新しい修復ネットワークからなる軽量ハイブリッドビデオを提案する。
本手法はHEVCに適用しても,最上位の手法に匹敵する性能を実現する。
論文 参考訳(メタデータ) (2023-03-21T04:42:44Z) - Sandwiched Video Compression: Efficiently Extending the Reach of
Standard Codecs with Neural Wrappers [11.968545394054816]
本稿では,標準的なビデオにニューラルネットワークをラップするビデオ圧縮システムを提案する。
ネットワークは、速度歪み損失関数を最適化するために共同で訓練される。
HEVCと同等品質で30%の改善が見られた。
論文 参考訳(メタデータ) (2023-03-20T22:03:44Z) - Compressed Vision for Efficient Video Understanding [83.97689018324732]
本稿では,2時間ビデオの処理が可能なハードウェアを用いて,時間長動画の研究を可能にするフレームワークを提案する。
私たちは、JPEGなどの標準的なビデオ圧縮をニューラル圧縮に置き換え、圧縮されたビデオを通常のビデオネットワークへの入力として直接フィードできることを示します。
論文 参考訳(メタデータ) (2022-10-06T15:35:49Z) - Leveraging Bitstream Metadata for Fast, Accurate, Generalized Compressed
Video Quality Enhancement [74.1052624663082]
圧縮ビデオの細部を復元する深層学習アーキテクチャを開発した。
これにより,従来の圧縮補正法と比較して復元精度が向上することを示す。
我々は、ビットストリームで容易に利用できる量子化データに対して、我々のモデルを条件付けする。
論文 参考訳(メタデータ) (2022-01-31T18:56:04Z) - Variable Rate Video Compression using a Hybrid Recurrent Convolutional
Learning Framework [1.9290392443571382]
本稿では,予測自動符号化の概念に基づくハイブリッドビデオ圧縮フレームワークであるPredEncoderを提案する。
可変レートブロック符号化方式が論文で提案され,ビットレート比が著しく向上した。
論文 参考訳(メタデータ) (2020-04-08T20:49:25Z) - Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。
本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。
従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
論文 参考訳(メタデータ) (2020-03-25T09:04:24Z) - Learning for Video Compression with Hierarchical Quality and Recurrent
Enhancement [164.7489982837475]
本稿では,階層型ビデオ圧縮(HLVC)手法を提案する。
我々のHLVCアプローチでは、エンコーダ側とデコーダ側の低品質フレームの圧縮と強化を容易にするため、階層的品質は符号化効率の恩恵を受ける。
論文 参考訳(メタデータ) (2020-03-04T09:31:37Z) - Video Coding for Machines: A Paradigm of Collaborative Compression and
Intelligent Analytics [127.65410486227007]
フレーム全体を圧縮、再構成することを目的としたビデオ符号化と、最も重要な情報のみを保存し、送信する特徴圧縮は、スケールの2つの端に立つ。
最近のビデオ圧縮の急激なトレンド、例えばディープラーニングベースのコーディングツールやエンドツーエンドの画像/ビデオコーディング、MPEG-7のコンパクトな特徴記述子標準などの取り組みは、持続的かつ迅速な開発を促進する。
本稿では,新たな領域であるVCM(Video Coding for Machines)の探索を行う。
論文 参考訳(メタデータ) (2020-01-10T17:24:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。