論文の概要: Neural Compression-Based Feature Learning for Video Restoration

• arxiv url: http://arxiv.org/abs/2203.09208v1
• Date: Thu, 17 Mar 2022 09:59:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-19 00:29:03.380896
• Title: Neural Compression-Based Feature Learning for Video Restoration
• Title（参考訳）: ビデオ復元のためのニューラル圧縮に基づく特徴学習
• Authors: Cong Huang and Jiahao Li and Bin Li and Dong Liu and Yan Lu
• Abstract要約: 本稿では,映像の再生を支援するために,ノイズ・ロバストな特徴表現の学習を提案する。 ニューラル圧縮モジュールを設計し、ノイズをフィルタリングし、最も有用な情報をビデオ復元の機能として保持する。
• 参考スコア（独自算出の注目度）: 29.021502115116736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How to efficiently utilize the temporal features is crucial, yet challenging, for video restoration. The temporal features usually contain various noisy and uncorrelated information, and they may interfere with the restoration of the current frame. This paper proposes learning noise-robust feature representations to help video restoration. We are inspired by that the neural codec is a natural denoiser. In neural codec, the noisy and uncorrelated contents which are hard to predict but cost lots of bits are more inclined to be discarded for bitrate saving. Therefore, we design a neural compression module to filter the noise and keep the most useful information in features for video restoration. To achieve robustness to noise, our compression module adopts a spatial-channel-wise quantization mechanism to adaptively determine the quantization step size for each position in the latent. Experiments show that our method can significantly boost the performance on video denoising, where we obtain 0.13 dB improvement over BasicVSR++ with only 0.23x FLOPs. Meanwhile, our method also obtains SOTA results on video deraining and dehazing.
• Abstract（参考訳）: 時間的特徴を効率的に活用する方法は、ビデオ修復にとって不可欠だが難しい。 時間的特徴は、通常、様々なノイズと非相関な情報を含み、現在のフレームの復元を妨げる可能性がある。 本稿では,映像復元を支援する学習用ノイズロバスト特徴表現を提案する。 私たちは、神経コーデックが自然なデノイザーであることにインスパイアされています。 ニューラルコーデックでは、予測が難しいがコストがかかるノイズや相関のないコンテンツはビットレートの節約のために破棄される傾向がある。 そこで我々は,ノイズをフィルタリングし,最も有用な情報を映像復元機能に保持するニューラル圧縮モジュールを設計した。 雑音に対するロバスト性を実現するために, 圧縮モジュールは空間チャネル毎の量子化機構を採用し, 潜在位置毎の量子化ステップサイズを適応的に決定する。 実験により,本手法はビデオ復調性能を大幅に向上し,0.23倍のFLOPでベーシックVSR++よりも0.13dB向上できることがわかった。 一方,本手法では,ビデオデレーシングとデヘイジングのsota結果も取得する。

関連論文リスト

• NeRFCodec: Neural Feature Compression Meets Neural Radiance Fields for Memory-Efficient Scene Representation [22.151167286623416]
  メモリ効率のよいシーン表現のための非線形変換,量子化,エントロピー符号化を統合したエンドツーエンドのNeRF圧縮フレームワークを提案する。 提案手法は既存のNeRF圧縮法より優れており、0.5MBのメモリ予算で高品質な新規ビュー合成を可能にする。
  論文  参考訳（メタデータ） (2024-04-02T15:49:00Z)
• VQ-NeRV: A Vector Quantized Neural Representation for Videos [3.6662666629446043]
  Inlicit Neural representations (INR)は、ニューラルネットワーク内のビデオのエンコーディングに優れ、ビデオ圧縮やデノイングといったコンピュータビジョンタスクにおける約束を示す。 本稿では,新しいコンポーネントであるVQ-NeRVブロックを統合した,高度なU字型アーキテクチャであるVector Quantized-NeRV(VQ-NeRV)を紹介する。 このブロックには、ネットワークの浅い残差特徴とフレーム間の残差情報を効果的に識別するコードブック機構が組み込まれている。
  論文  参考訳（メタデータ） (2024-03-19T03:19:07Z)
• NERV++: An Enhanced Implicit Neural Video Representation [11.25130799452367]
  強調された暗黙的ニューラルビデオ表現であるNeRV++のニューラル表現を導入する。 NeRV++は、オリジナルのNeRVデコーダアーキテクチャよりも単純だが効果的な拡張である。 提案手法をUVG,MCL JVC,Bunnyのデータセット上で評価し,INRによる映像圧縮の競合性を実現する。
  論文  参考訳（メタデータ） (2024-02-28T13:00:32Z)
• VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data [18.877077302923713]
  本稿では,映像圧縮に基づく劣化モデルを用いて,ブラインドSISRタスクにおける低解像度画像データを合成する。 提案手法は既存の画像データセットに適用可能である。 SISR分解モデルにビデオ符号化アーティファクトを導入することで、ニューラルネットワークは、ビデオ圧縮劣化を復元する機能を備えた、画像の超解凍を可能にする。
  論文  参考訳（メタデータ） (2023-11-02T05:24:19Z)
• High Fidelity Neural Audio Compression [92.4812002532009]
  我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。 ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。 単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
  論文  参考訳（メタデータ） (2022-10-24T17:52:02Z)
• Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
  我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。 一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
  論文  参考訳（メタデータ） (2022-10-13T08:15:08Z)
• Exploring Long- and Short-Range Temporal Information for Learned Video Compression [54.91301930491466]
  圧縮性能を高めるために,映像コンテンツの特徴を活かし,時間的情報を探究することに注力する。 本稿では,画像群(GOP)内で画像の推測中に連続的に更新できる時間前処理を提案する。 この場合、時間的事前は、現在のGOP内のすべてのデコードされた画像の貴重な時間的情報を含む。 本稿では,マルチスケール補償を実現する階層構造を設計する。
  論文  参考訳（メタデータ） (2022-08-07T15:57:18Z)
• Leveraging Bitstream Metadata for Fast, Accurate, Generalized Compressed Video Quality Enhancement [74.1052624663082]
  圧縮ビデオの細部を復元する深層学習アーキテクチャを開発した。 これにより,従来の圧縮補正法と比較して復元精度が向上することを示す。 我々は、ビットストリームで容易に利用できる量子化データに対して、我々のモデルを条件付けする。
  論文  参考訳（メタデータ） (2022-01-31T18:56:04Z)
• Self-Conditioned Probabilistic Learning of Video Rescaling [70.10092286301997]
  本稿では,ビデオ再スケーリングのための自己条件付き確率的フレームワークを提案し,ペアダウンスケーリングとアップスケーリングの手順を同時に学習する。 我々は、その条件付き確率を強い時空間事前情報に基づいて最大化することにより、ダウンスケーリングで失われた情報のエントロピーを減少させる。 我々は、このフレームワークを、非微分産業損失コーデックの勾配推定器として提案する、損失のあるビデオ圧縮システムに拡張する。
  論文  参考訳（メタデータ） (2021-07-24T15:57:15Z)
• Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
  本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。 本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。 従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
  論文  参考訳（メタデータ） (2020-03-25T09:04:24Z)
• Restore from Restored: Video Restoration with Pseudo Clean Video [28.057705167363327]
  自己管理型ビデオ復号化手法"restore-from-restored"を提案する。 テストフェーズ中に擬似クリーンビデオを用いて事前学習ネットワークを微調整する。 提案した自己超越型学習アルゴリズムを用いて、微調整ビデオ復調ネットワークの復元性能を解析する。
  論文  参考訳（メタデータ） (2020-03-09T17:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。