論文の概要: Content-Adaptive Motion Rate Adaption for Learned Video Compression
- arxiv url: http://arxiv.org/abs/2302.06293v1
- Date: Mon, 13 Feb 2023 11:51:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 15:48:47.292506
- Title: Content-Adaptive Motion Rate Adaption for Learned Video Compression
- Title（参考訳）: 学習ビデオ圧縮のためのコンテンツ適応モーションレート適応
- Authors: Chih-Hsuan Lin, Yi-Hsin Chen, Wen-Hsiao Peng
- Abstract要約: 本稿では,学習ビデオ圧縮のためのオンラインモーションレート適応方式を提案する。
個々のテストシーケンスにおけるコンテンツ適応型コーディングを実現し、トレーニングとテストデータのドメインギャップを軽減することを目的としている。
パッチレベルのビット割り当てマップは$alpha$-mapと呼ばれ、動きのビットレートとフレーム間符号化のトレードオフを行う。
- 参考スコア（独自算出の注目度）: 11.574465203875342
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces an online motion rate adaptation scheme for learned
video compression, with the aim of achieving content-adaptive coding on
individual test sequences to mitigate the domain gap between training and test
data. It features a patch-level bit allocation map, termed the $\alpha$-map, to
trade off between the bit rates for motion and inter-frame coding in a
spatially-adaptive manner. We optimize the $\alpha$-map through an online
back-propagation scheme at inference time. Moreover, we incorporate a
look-ahead mechanism to consider its impact on future frames. Extensive
experimental results confirm that the proposed scheme, when integrated into a
conditional learned video codec, is able to adapt motion bit rate effectively,
showing much improved rate-distortion performance particularly on test
sequences with complicated motion characteristics.
- Abstract（参考訳）: 本稿では,学習ビデオ圧縮のためのオンラインモーションレート適応方式を提案する。学習データとテストデータ間の領域ギャップを軽減するために,個々のテストシーケンスに対するコンテンツ適応符号化を実現することを目的としている。
パッチレベルのビット割り当てマップは$\alpha$-mapと呼ばれ、動きのビットレートとフレーム間のコーディングを空間的に適応的にトレードオフする。
推論時にオンラインのバックプロパゲーションスキームを通じて$\alpha$-mapを最適化する。
さらに,今後のフレームへの影響を検討するために,ルックアヘッド機構を組み込んだ。
広範に実験した結果,条件付き学習ビデオコーデックに組み込むと,動作ビットレートを効果的に適応でき,特に複雑な動作特性を持つテストシーケンスにおいて,速度ゆらぎ性能が大幅に向上することを確認した。
関連論文リスト
- Differentiable Resolution Compression and Alignment for Efficient Video
Classification and Retrieval [16.497758750494537]
本稿では,高解像度圧縮・アライメント機構を備えた効率的な映像表現ネットワークを提案する。
我々は、相性および非相性フレーム特徴を符号化するために、微分可能なコンテキスト対応圧縮モジュールを利用する。
我々は,異なる解像度のフレーム特徴間のグローバル時間相関を捉えるために,新しい解像度変換器層を導入する。
論文 参考訳（メタデータ） (2023-09-15T05:31:53Z) - Multi-Scale Deformable Alignment and Content-Adaptive Inference for
Flexible-Rate Bi-Directional Video Compression [8.80688035831646]
本稿では、エンドツーエンドの速度歪みに最適化された階層的双方向ビデオ圧縮のための適応型モーション補正モデルを提案する。
我々はゲインユニットを使用し、単一のモデルが複数のレート歪み動作ポイントで動作できるようにする。
実験により, 学習ビデオ符号化における先行技術に比較して, 最先端の速度歪み性能を示すことができた。
論文 参考訳（メタデータ） (2023-06-28T20:32:16Z) - Boost Video Frame Interpolation via Motion Adaptation [73.42573856943923]
ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを生成することを目的とした課題である。
既存の学習ベースのVFI手法は大きな成功を収めたが、それでも限定的な一般化能力に悩まされている。
テスト時に見えない動作に適応できる新しい最適化ベースのVFI法を提案する。
論文 参考訳（メタデータ） (2023-06-24T10:44:02Z) - You Can Ground Earlier than See: An Effective and Efficient Pipeline for
Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。
それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。
本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
論文 参考訳（メタデータ） (2023-03-14T12:53:27Z) - Learned Video Compression via Heterogeneous Deformable Compensation
Network [78.72508633457392]
不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。
より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。
実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-11T02:31:31Z) - Flexible-Rate Learned Hierarchical Bi-Directional Video Compression With
Motion Refinement and Frame-Level Bit Allocation [8.80688035831646]
我々は、動き推定と予測モジュールを組み合わせ、改良された残留運動ベクトルを圧縮し、速度歪み性能を向上する。
我々は、ゲインユニットを利用して、コード内対双方向符号化フレーム間のビット割り当てを制御する。
論文 参考訳（メタデータ） (2022-06-27T20:18:52Z) - End-to-End Rate-Distortion Optimized Learned Hierarchical Bi-Directional
Video Compression [10.885590093103344]
学習VCは、非線形変換、運動、エントロピーモデルのエンドツーエンドの速度歪み(R-D)最適化トレーニングを同時に行うことができる。
本稿では,階層型モーションサンプリングとエンドツーエンド最適化の利点を組み合わせた,学習型階層型双方向ビデオ(LHBDC)を提案する。
論文 参考訳（メタデータ） (2021-12-17T14:30:22Z) - Self-Supervised Learning of Perceptually Optimized Block Motion
Estimates for Video Compression [50.48504867843605]
多段階畳み込みニューラルネットワークを用いた探索自由ブロック運動推定フレームワークを提案する。
動作補償フレームの知覚品質を最適化するために,マルチスケール構造類似度(MS-SSIM)損失関数をデプロイする。
論文 参考訳（メタデータ） (2021-10-05T03:38:43Z) - End-to-end Neural Video Coding Using a Compound Spatiotemporal
Representation [33.54844063875569]
本稿では,2つの手法により生成された予測を適応的に組み合わせたハイブリッド動作補償法を提案する。
具体的には、リカレント情報集約(RIA)モジュールを用いて、複合時間表現(STR)を生成する。
さらに、ベクトルベースの再サンプリング、適応カーネルベースの再サンプリング、補償モード選択マップ、テクスチャ拡張を含む、CSTRから複数の予測を生成する1対多デコーダパイプラインを設計する。
論文 参考訳（メタデータ） (2021-08-05T19:43:32Z) - EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。
まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。
第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
論文 参考訳（メタデータ） (2021-07-22T15:57:18Z) - Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。
本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。
従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
論文 参考訳（メタデータ） (2020-03-25T09:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。