論文の概要: Offline and Online Optical Flow Enhancement for Deep Video Compression
- arxiv url: http://arxiv.org/abs/2307.05092v1
- Date: Tue, 11 Jul 2023 07:52:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 15:53:35.584690
- Title: Offline and Online Optical Flow Enhancement for Deep Video Compression
- Title（参考訳）: 奥行き映像圧縮のためのオフラインおよびオンライン光フロー強調
- Authors: Chuanbo Tang, Xihua Sheng, Zhuoyuan Li, Haotian Zhang, Li Li, Dong Liu
- Abstract要約: モーション情報は、既存のディープビデオ圧縮ネットワークのほとんどで光学フローとして表現されている。
我々は現在最先端のディープビデオ圧縮方式であるDCVCの実験を行っている。
- 参考スコア（独自算出の注目度）: 14.445058335559994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video compression relies heavily on exploiting the temporal redundancy
between video frames, which is usually achieved by estimating and using the
motion information. The motion information is represented as optical flows in
most of the existing deep video compression networks. Indeed, these networks
often adopt pre-trained optical flow estimation networks for motion estimation.
The optical flows, however, may be less suitable for video compression due to
the following two factors. First, the optical flow estimation networks were
trained to perform inter-frame prediction as accurately as possible, but the
optical flows themselves may cost too many bits to encode. Second, the optical
flow estimation networks were trained on synthetic data, and may not generalize
well enough to real-world videos. We address the twofold limitations by
enhancing the optical flows in two stages: offline and online. In the offline
stage, we fine-tune a trained optical flow estimation network with the motion
information provided by a traditional (non-deep) video compression scheme, e.g.
H.266/VVC, as we believe the motion information of H.266/VVC achieves a better
rate-distortion trade-off. In the online stage, we further optimize the latent
features of the optical flows with a gradient descent-based algorithm for the
video to be compressed, so as to enhance the adaptivity of the optical flows.
We conduct experiments on a state-of-the-art deep video compression scheme,
DCVC. Experimental results demonstrate that the proposed offline and online
enhancement together achieves on average 12.8% bitrate saving on the tested
videos, without increasing the model or computational complexity of the decoder
side.
- Abstract（参考訳）: ビデオ圧縮はビデオフレーム間の時間的冗長性を活用することに大きく依存している。
モーション情報は、既存のディープビデオ圧縮ネットワークの多くで光学フローとして表現されている。
実際、これらのネットワークは、運動推定のために事前訓練された光フロー推定ネットワークを採用することが多い。
しかし、光学的流れは以下の2つの要因により、ビデオ圧縮には適さないかもしれない。
第一に、光学フロー推定ネットワークは、フレーム間予測をできるだけ正確に行うように訓練されたが、光学フロー自体がエンコードするには多くのビットがかかる可能性がある。
第二に、光学フロー推定ネットワークは合成データに基づいて訓練され、実世界のビデオに十分一般化できない可能性がある。
我々は、光学フローをオフラインとオンラインの2段階に拡張することで、2つの制限に対処する。
オフラインの段階では、H.266/VVCの動画情報により、従来の(非深度)ビデオ圧縮方式(例えばH.266/VVC)によって提供される動き情報により、トレーニングされた光フロー推定ネットワークを微調整する。
オンラインの段階では,映像を圧縮するための勾配降下に基づくアルゴリズムを用いて,光流の潜伏特性をさらに最適化し,光流の適応性を高める。
我々は現在最先端のディープビデオ圧縮方式であるDCVCの実験を行っている。
実験結果から,提案手法は,デコーダ側のモデルや計算複雑性を増大させることなく,平均12.8%のビットレート削減を達成できることがわかった。
関連論文リスト
- Binarized Low-light Raw Video Enhancement [49.65466843856074]
ディープニューラルネットワークは、低照度生ビデオの強化において優れたパフォーマンスを実現している。
本稿では,低照度生ビデオエンハンスメントに超コンパクトなバイナリニューラルネットワーク(BNN)を適用する可能性について検討する。
論文 参考訳（メタデータ） (2024-03-29T02:55:07Z) - Breaking of brightness consistency in optical flow with a lightweight CNN network [7.601414191389451]
この研究では、軽量ネットワークを用いて、強い不変性を持つ堅牢な畳み込み特徴やコーナーを抽出する。
畳み込み特性の整合性に対する光学流法の典型的な輝度の整合性を変化させると、光ローバストハイブリッド光流法が得られる。
VINS-Monoの光学フロー法を置き換えることにより,より正確な視覚慣性システムを構築する。
論文 参考訳（メタデータ） (2023-10-24T09:10:43Z) - UFD-PRiME: Unsupervised Joint Learning of Optical Flow and Stereo Depth
through Pixel-Level Rigid Motion Estimation [4.445751695675388]
光の流れとステレオの相違は画像の一致であり、そのため関節トレーニングの恩恵を受けることができる。
我々は、フローと格差を共同で推定し、監督なしに訓練される最初のネットワークを設計する。
第2のネットワークは、第1のネットワークから擬似ラベルとして光学的流れを訓練し、第1のネットワークから格差を取り、各ピクセルにおける3次元剛性運動を推定し、再び光学的流れを再構築する。
論文 参考訳（メタデータ） (2023-10-07T07:08:25Z) - MVFlow: Deep Optical Flow Estimation of Compressed Videos with Motion
Vector Prior [16.633665275166706]
圧縮ビデオにおける光フロー推定の速度と精度を向上させるために運動ベクトルを用いた光フローモデルMVFlowを提案する。
実験の結果,既存のモデルと比較して提案したMVFlowの1.09倍の精度を示し,既存のモデルと同様の精度で保存時間を短縮した。
論文 参考訳（メタデータ） (2023-08-03T07:16:18Z) - A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。
このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。
8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
論文 参考訳（メタデータ） (2022-02-06T16:29:15Z) - Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent
Neural Network [14.796204921975733]
デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。
既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。
本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-09-11T14:24:44Z) - Learning optical flow from still images [53.295332513139925]
我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。
既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。
我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
論文 参考訳（メタデータ） (2021-04-08T17:59:58Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳（メタデータ） (2020-12-15T18:59:30Z) - Ultra-low bitrate video conferencing using deep image animation [7.263312285502382]
ビデオ会議のための超低速ビデオ圧縮のための新しい深層学習手法を提案する。
我々はディープニューラルネットワークを用いて、動き情報をキーポイント変位として符号化し、デコーダ側で映像信号を再構成する。
論文 参考訳（メタデータ） (2020-12-01T09:06:34Z) - Optical Flow Distillation: Towards Efficient and Stable Video Style
Transfer [67.36785832888614]
本稿では,知識蒸留パラダイムを用いて,軽量のビデオスタイル転送ネットワークを学習することを提案する。
教師ネットワークは2つあり、そのうちの1つは推論中に光学的流れをとるが、もう1つはそうでない。
これら2つの教師ネットワーク間の出力差は、光学的フローによる改善を強調し、対象の学生ネットワークを蒸留するために使用される。
論文 参考訳（メタデータ） (2020-07-10T03:00:33Z) - Cascaded Deep Video Deblurring Using Temporal Sharpness Prior [88.98348546566675]
提案アルゴリズムは主に,中間潜水フレームと潜水フレームの復元ステップから光フローを推定する。
まず、中間潜伏フレームから光フローを推定し、推定した光フローに基づいて潜伏フレームを復元する深部CNNモデルを開発する。
ビデオデブロアリングのドメイン知識を探索することで、深層CNNモデルをよりコンパクトで効率的なものにすることができることを示す。
論文 参考訳（メタデータ） (2020-04-06T09:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。