論文の概要: CANeRV: Content Adaptive Neural Representation for Video Compression
- arxiv url: http://arxiv.org/abs/2502.06181v2
- Date: Thu, 13 Feb 2025 14:18:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-14 13:48:37.097480
- Title: CANeRV: Content Adaptive Neural Representation for Video Compression
- Title（参考訳）: CANeRV:ビデオ圧縮のためのコンテンツ適応型ニューラル表現
- Authors: Lv Tang, Jun Zhu, Xinfeng Zhang, Li Zhang, Siwei Ma, Qingming Huang,
- Abstract要約: 映像圧縮のためのコンテンツ適応型ニューラル表現法(CANeRV)を提案する。
CANeRVは革新的なINRベースのビデオ圧縮ネットワークであり、各ビデオシーケンスの特定の内容に基づいて、構造最適化を適応的に行う。
CNeRVはH.266/VVCと最先端のINRベースの動画圧縮技術の両方を多種多様なビデオデータセットで上回り得ることを示す。
- 参考スコア（独自算出の注目度）: 89.35616046528624
- License:
- Abstract: Recent advances in video compression introduce implicit neural representation (INR) based methods, which effectively capture global dependencies and characteristics of entire video sequences. Unlike traditional and deep learning based approaches, INR-based methods optimize network parameters from a global perspective, resulting in superior compression potential. However, most current INR methods utilize a fixed and uniform network architecture across all frames, limiting their adaptability to dynamic variations within and between video sequences. This often leads to suboptimal compression outcomes as these methods struggle to capture the distinct nuances and transitions in video content. To overcome these challenges, we propose Content Adaptive Neural Representation for Video Compression (CANeRV), an innovative INR-based video compression network that adaptively conducts structure optimisation based on the specific content of each video sequence. To better capture dynamic information across video sequences, we propose a dynamic sequence-level adjustment (DSA). Furthermore, to enhance the capture of dynamics between frames within a sequence, we implement a dynamic frame-level adjustment (DFA). {Finally, to effectively capture spatial structural information within video frames, thereby enhancing the detail restoration capabilities of CANeRV, we devise a structure level hierarchical structural adaptation (HSA).} Experimental results demonstrate that CANeRV can outperform both H.266/VVC and state-of-the-art INR-based video compression techniques across diverse video datasets.
- Abstract（参考訳）: ビデオ圧縮の最近の進歩は、暗黙的ニューラル表現(INR)に基づく手法を導入し、ビデオシーケンス全体のグローバルな依存関係と特徴を効果的に捉えている。
従来のディープラーニングベースのアプローチとは異なり、INRベースの手法はグローバルな視点からネットワークパラメータを最適化し、圧縮ポテンシャルが向上する。
しかし、現在のINR法は、すべてのフレームをまたいだ固定かつ均一なネットワークアーキテクチャを使用しており、ビデオシーケンス内およびビデオシーケンス間の動的変動への適応性を制限している。
これらの手法は、ビデオコンテンツの異なるニュアンスや遷移を捉えるのに苦労するため、しばしば、最適以下の圧縮結果をもたらす。
これらの課題を克服するために、各ビデオシーケンスの特定の内容に基づいて構造最適化を適応的に行う革新的なINRベースのビデオ圧縮ネットワークであるCANeRV(Content Adaptive Neural Representation for Video Compression)を提案する。
そこで本研究では,動的シーケンスレベルの調整(DSA)を提案する。
さらに,シーケンス内のフレーム間のダイナミックスを捕捉するために,動的フレームレベル調整(DFA)を実装した。
映像フレーム内の空間構造情報を効果的に捉え,CANeRVの詳細な復元能力を高めるため,構造レベルの階層構造適応(HSA)を考案した。
実験の結果、CANeRVはH.266/VVCと最先端のINRベースの動画圧縮技術の両方を、多様なビデオデータセットで上回っていることがわかった。
関連論文リスト
- Releasing the Parameter Latency of Neural Representation for High-Efficiency Video Compression [18.769136361963472]
暗黙的ニューラル表現(INR)技術は、ビデオ全体を基本単位としてモデル化し、フレーム内およびフレーム間の相関を自動的にキャプチャする。
本稿では,INRビデオ圧縮の速度歪み特性を大幅に向上させる手法を提案する。
論文 参考訳（メタデータ） (2024-10-02T15:19:31Z) - Compression-Realized Deep Structural Network for Video Quality Enhancement [78.13020206633524]
本稿では,圧縮ビデオの品質向上の課題に焦点をあてる。
既存の手法のほとんどは、圧縮コーデック内での事前処理を最適に活用するための構造設計を欠いている。
新しいパラダイムは、より意識的な品質向上プロセスのために緊急に必要である。
論文 参考訳（メタデータ） (2024-05-10T09:18:17Z) - VQ-NeRV: A Vector Quantized Neural Representation for Videos [3.6662666629446043]
Inlicit Neural representations (INR)は、ニューラルネットワーク内のビデオのエンコーディングに優れ、ビデオ圧縮やデノイングといったコンピュータビジョンタスクにおける約束を示す。
本稿では,新しいコンポーネントであるVQ-NeRVブロックを統合した,高度なU字型アーキテクチャであるVector Quantized-NeRV(VQ-NeRV)を紹介する。
このブロックには、ネットワークの浅い残差特徴とフレーム間の残差情報を効果的に識別するコードブック機構が組み込まれている。
論文 参考訳（メタデータ） (2024-03-19T03:19:07Z) - Boosting Neural Representations for Videos with a Conditional Decoder [28.073607937396552]
Inlicit Neural representations (INRs) は、ビデオストレージと処理において有望なアプローチとして登場した。
本稿では,現在の暗黙的ビデオ表現手法のための普遍的なブースティングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-28T08:32:19Z) - DNeRV: Modeling Inherent Dynamics via Difference Neural Representation
for Videos [53.077189668346705]
映像の差分表現(eRV)
我々はこれを制限関数の適合性とフレーム差の重要性の観点から分析する。
DNeRVは最先端のニューラル圧縮アプローチと競合する結果を得る。
論文 参考訳（メタデータ） (2023-04-13T13:53:49Z) - Modality-Agnostic Variational Compression of Implicit Neural
Representations [96.35492043867104]
Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。
潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。
このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
論文 参考訳（メタデータ） (2023-01-23T15:22:42Z) - FFNeRV: Flow-Guided Frame-Wise Neural Representations for Videos [5.958701846880935]
ビデオ中のフレーム間の時間的冗長性を利用するために,フロー情報をフレームワイズ表現に組み込む新しい手法であるFFNeRVを提案する。
モデル圧縮技術により、FFNeRVは広く使われている標準ビデオコーデック(H.264とHEVC)より優れ、最先端のビデオ圧縮アルゴリズムと同等に動作する。
論文 参考訳（メタデータ） (2022-12-23T12:51:42Z) - Learned Video Compression via Heterogeneous Deformable Compensation
Network [78.72508633457392]
不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。
より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。
実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-11T02:31:31Z) - Hierarchical Multimodal Transformer to Summarize Videos [103.47766795086206]
変換器の大成功とビデオの自然な構造(フレームショットビデオ)に触発された階層変換器は,映像要約のために開発された。
2種類の情報を統合するために、2ストリーム方式で符号化し、階層変換器に基づいて多モード融合機構を開発する。
実際、広範な実験により、HMTは従来のRNNベースおよび注意に基づくビデオ要約手法のほとんどを超越していることが示された。
論文 参考訳（メタデータ） (2021-09-22T07:38:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。