論文の概要: Deep Video Codec Control

• arxiv url: http://arxiv.org/abs/2308.16215v4
• Date: Sat, 16 Sep 2023 12:05:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 22:16:10.364033
• Title: Deep Video Codec Control
• Title（参考訳）: ディープビデオコーデック制御
• Authors: Christoph Reich, Biplob Debnath, Deep Patel, Tim Prangemeier, Srimat Chakradhar
• Abstract要約: ロスシービデオ圧縮は、ビデオデータの送信と保存に一般的に使用される。 本稿では、帯域制限と下流視性能の両方を考慮した、エンド・ツー・エンドで学習可能な深層映像制御について述べる。
• 参考スコア（独自算出の注目度）: 2.956816910626375
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Lossy video compression is commonly used when transmitting and storing video data. Unified video codecs (e.g., H.264 or H.265) remain the de facto standard, despite the availability of advanced (neural) compression approaches. Transmitting videos in the face of dynamic network bandwidth conditions requires video codecs to adapt to vastly different compression strengths. Rate control modules augment the codec's compression such that bandwidth constraints are satisfied and video distortion is minimized. While, both standard video codes and their rate control modules are developed to minimize video distortion w.r.t. human quality assessment, preserving the downstream performance of deep vision models is not considered. In this paper, we present the first end-to-end learnable deep video codec control considering both bandwidth constraints and downstream vision performance, while not breaking existing standardization. We demonstrate for two common vision tasks (semantic segmentation and optical flow estimation) and on two different datasets that our deep codec control better preserves downstream performance than using 2-pass average bit rate control while meeting dynamic bandwidth constraints and adhering to standardizations.
• Abstract（参考訳）: 損失のあるビデオ圧縮は、ビデオデータの転送と保存によく使用される。 H.264やH.265のような統一ビデオコーデックは、高度な(神経的な)圧縮アプローチが可能であるにもかかわらず、デファクトスタンダードのままである。 動的ネットワーク帯域幅の条件で動画を送信するには、ビデオコーデックが全く異なる圧縮強度に適応する必要がある。 レート制御モジュールはコーデックの圧縮を増大させ、帯域制限が満たされ、ビデオ歪みが最小化される。 ビデオコードとそのレート制御モジュールは、人間の品質評価の歪みを最小限に抑えるために開発されたが、ディープビジョンモデルの下流性能は考慮されていない。 本稿では,既存の規格を破ることなく,帯域制限とダウンストリーム視覚性能の両方を考慮した,エンドツーエンドで学習可能なディープビデオコーデック制御を提案する。 我々は2つの共通ビジョンタスク(セマンティックセグメンテーションと光フロー推定)と2つの異なるデータセットに対して、ダイナミックな帯域幅制約を満たし、標準化に固執しながら、2パス平均ビットレート制御を使用するよりも、より深いコーデック制御の方が下流のパフォーマンスを良く維持できることを示す。

関連論文リスト

• When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [112.44822009714461]
  CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。 復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。 TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
  論文  参考訳（メタデータ） (2024-08-15T11:36:18Z)
• Prediction and Reference Quality Adaptation for Learned Video Compression [54.58691829087094]
  本研究では,空間的およびチャネル的予測品質差の明確な識別を行うために,信頼度に基づく予測品質適応(PQA)モジュールを提案する。 また、参照品質適応(RQA)モジュールと関連する繰り返し学習戦略を提案し、様々な参照品質のための動的空間変化フィルタを提供する。
  論文  参考訳（メタデータ） (2024-06-20T09:03:26Z)
• NU-Class Net: A Novel Approach for Video Quality Enhancement [1.7763979745248648]
  本稿では,圧縮コーデックによる圧縮アーチファクトの軽減を目的とした,革新的な深層学習モデルであるNU-Class Netを紹介する。 NU-Class Netを利用することで、ビデオキャプチャノード内のビデオエンコーダは出力品質を低下させ、低ビットレートのビデオを生成することができる。 実験により,低ビットレートでストリーミングされたビデオの知覚品質を高めるためのモデルの有効性が確認された。
  論文  参考訳（メタデータ） (2024-01-02T11:46:42Z)
• Deep Learning-Based Real-Time Quality Control of Standard Video Compression for Live Streaming [31.285983939625098]
  リアルタイム深層学習に基づくH.264コントローラを提案する。 最小遅延でビデオチャンクの内容に基づいて最適なエンコーダパラメータを推定する。 平均帯域使用量の最大2.5倍の改善を実現している。
  論文  参考訳（メタデータ） (2023-11-21T18:28:35Z)
• Sandwiched Video Compression: Efficiently Extending the Reach of Standard Codecs with Neural Wrappers [11.968545394054816]
  本稿では,標準的なビデオにニューラルネットワークをラップするビデオ圧縮システムを提案する。 ネットワークは、速度歪み損失関数を最適化するために共同で訓練される。 HEVCと同等品質で30%の改善が見られた。
  論文  参考訳（メタデータ） (2023-03-20T22:03:44Z)
• Task Oriented Video Coding: A Survey [0.5076419064097732]
  H.265/HEVCやVersatile Video Codingのような最先端のビデオコーディング標準は、圧縮されたビデオが人間によって監視されると仮定して設計されている。 コンピュータビジョンタスクの解法におけるディープニューラルネットワークの飛躍的な進歩と成熟により、人間の関与なしにディープニューラルネットワークによって直接分析されるビデオはますます増えている。 コンピュータビジョンタスク指向のビデオコーディングと新しいビデオコーディング標準である Video Coding for Machines の最近の進歩を探求し要約する。
  論文  参考訳（メタデータ） (2022-08-15T16:21:54Z)
• A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
  我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。 このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。 8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
  論文  参考訳（メタデータ） (2022-02-06T16:29:15Z)
• Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action Localization [96.73647162960842]
  TALはビデオ理解の基本的な課題だが、難しい課題だ。 既存のtalメソッドは、アクション分類の監督を通じてビデオエンコーダを事前トレーニングする。 本稿では,ローファイダリティ・エンド・ツー・エンド(LoFi)ビデオエンコーダの事前学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-28T22:18:14Z)
• Ultra-low bitrate video conferencing using deep image animation [7.263312285502382]
  ビデオ会議のための超低速ビデオ圧縮のための新しい深層学習手法を提案する。 我々はディープニューラルネットワークを用いて、動き情報をキーポイント変位として符号化し、デコーダ側で映像信号を再構成する。
  論文  参考訳（メタデータ） (2020-12-01T09:06:34Z)
• Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
  本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。 本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。 従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
  論文  参考訳（メタデータ） (2020-03-25T09:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。