論文の概要: FANeRV: Frequency Separation and Augmentation based Neural Representation for Video
- arxiv url: http://arxiv.org/abs/2504.06755v1
- Date: Wed, 09 Apr 2025 10:19:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-10 13:06:17.317608
- Title: FANeRV: Frequency Separation and Augmentation based Neural Representation for Video
- Title(参考訳): FANeRV:ビデオのための周波数分離と拡張に基づくニューラル表現
- Authors: Li Yu, Zhihui Li, Jimin Xiao, Moncef Gabbouj,
- Abstract要約: ビデオのための周波数分離と拡張に基づくニューラル表現(FANeRV)を提案する。
このブロックは、離散ウェーブレット変換を用いて入力フレームを高周波数成分と低周波数成分に明示的に分離する。
最後に、特別に設計されたゲートネットワークは、これらの周波数成分を効果的に融合して最適な再構成を行う。
- 参考スコア(独自算出の注目度): 32.38933743785333
- License:
- Abstract: Neural representations for video (NeRV) have gained considerable attention for their strong performance across various video tasks. However, existing NeRV methods often struggle to capture fine spatial details, resulting in vague reconstructions. In this paper, we present a Frequency Separation and Augmentation based Neural Representation for video (FANeRV), which addresses these limitations with its core Wavelet Frequency Upgrade Block.This block explicitly separates input frames into high and low-frequency components using discrete wavelet transform, followed by targeted enhancement using specialized modules. Finally, a specially designed gated network effectively fuses these frequency components for optimal reconstruction. Additionally, convolutional residual enhancement blocks are integrated into the later stages of the network to balance parameter distribution and improve the restoration of high-frequency details. Experimental results demonstrate that FANeRV significantly improves reconstruction performance and excels in multiple tasks, including video compression, inpainting, and interpolation, outperforming existing NeRV methods.
- Abstract(参考訳): ビデオのためのニューラル表現(NeRV)は、様々なビデオタスクにおいて強いパフォーマンスを誇っている。
しかし、既存のNERV法は、しばしば細かな空間的詳細を捉えるのに苦労し、曖昧な再構築をもたらす。
本稿では,周波数分離と拡張に基づくビデオ用ニューラル表現(FANeRV)を提案する。このブロックは,入力フレームを離散ウェーブレット変換を用いて高周波数成分と低周波数成分に明示的に分離し,さらに特殊なモジュールを用いたターゲット拡張を行う。
最後に、特別に設計されたゲートネットワークは、これらの周波数成分を効果的に融合して最適な再構成を行う。
さらに、畳み込み残余拡張ブロックをネットワークの後半に組み込んでパラメータ分布のバランスをとり、高周波詳細の復元を改善する。
実験により, FANeRVは再構成性能を著しく向上し, 映像圧縮, インペインティング, 補間など, 既存のNERV法よりも優れることがわかった。
関連論文リスト
- SNeRV: Spectra-preserving Neural Representation for Video [8.978061470104532]
本稿では,暗黙の映像表現を強化する新しい手法として,スペクトル保存型NeRV(SneRV)を提案する。
本稿では,2次元離散ウェーブレット変換(DWT)を用いて映像を低周波(LF)と高周波(HF)に分解する。
我々は,SNeRVが既存のNeRVモデルよりも細部まで細部を捉え,再現性の向上を実現していることを示す。
論文 参考訳(メタデータ) (2025-01-03T07:57:38Z) - VRVVC: Variable-Rate NeRF-Based Volumetric Video Compression [59.14355576912495]
NeRFベースのビデオは、FVV(Photorealistic Free-Viewpoint Video)体験を提供することによって、ビジュアルメディアに革命をもたらした。
大量のデータボリュームは、ストレージと送信に重大な課題をもたらす。
ビデオ圧縮のための新しいエンドツーエンドの可変レートフレームワークであるVRVVCを提案する。
論文 参考訳(メタデータ) (2024-12-16T01:28:04Z) - High-Frequency Enhanced Hybrid Neural Representation for Video Compression [32.38933743785333]
本稿では,高周波拡張型ハイブリッドニューラル表現ネットワークを提案する。
本手法は,ネットワークによる細部合成を改善するために,高周波情報を活用することに焦点を当てている。
BunnyおよびUVGデータセットの実験は、我々の手法が他の手法よりも優れていることを示した。
論文 参考訳(メタデータ) (2024-11-11T03:04:46Z) - Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす
近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。
我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
論文 参考訳(メタデータ) (2024-10-23T13:05:26Z) - Neural Video Representation for Redundancy Reduction and Consistency Preservation [0.0]
入射神経表現(INR)は、様々な信号をニューラルネットワークに埋め込む。
フレームの高周波成分と低周波成分の両方を生成する映像表現法を提案する。
実験の結果,提案手法は既存のHNeRV法よりも優れており,動画の96%において優れた結果が得られた。
論文 参考訳(メタデータ) (2024-09-27T07:30:12Z) - VQ-NeRV: A Vector Quantized Neural Representation for Videos [3.6662666629446043]
Inlicit Neural representations (INR)は、ニューラルネットワーク内のビデオのエンコーディングに優れ、ビデオ圧縮やデノイングといったコンピュータビジョンタスクにおける約束を示す。
本稿では,新しいコンポーネントであるVQ-NeRVブロックを統合した,高度なU字型アーキテクチャであるVector Quantized-NeRV(VQ-NeRV)を紹介する。
このブロックには、ネットワークの浅い残差特徴とフレーム間の残差情報を効果的に識別するコードブック機構が組み込まれている。
論文 参考訳(メタデータ) (2024-03-19T03:19:07Z) - Boosting Neural Representations for Videos with a Conditional Decoder [28.073607937396552]
Inlicit Neural representations (INRs) は、ビデオストレージと処理において有望なアプローチとして登場した。
本稿では,現在の暗黙的ビデオ表現手法のための普遍的なブースティングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-28T08:32:19Z) - Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。
このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。
ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
論文 参考訳(メタデータ) (2023-04-10T08:36:00Z) - Structured Sparsity Learning for Efficient Video Super-Resolution [99.1632164448236]
我々は、ビデオ超解像(VSR)モデルの特性に応じて、構造化スパシティ学習(SSL)と呼ばれる構造化プルーニング手法を開発する。
SSLでは,残差ブロック,リカレントネットワーク,アップサンプリングネットワークなど,VSRモデルのいくつかの重要なコンポーネントに対するプルーニングスキームを設計する。
論文 参考訳(メタデータ) (2022-06-15T17:36:04Z) - Focal Frequency Loss for Image Reconstruction and Synthesis [125.7135706352493]
周波数領域の狭さが画像再構成と合成品質をさらに改善できることを示す。
本稿では,合成が難しい周波数成分に適応的に焦点を合わせることのできる,新しい焦点周波数損失を提案する。
論文 参考訳(メタデータ) (2020-12-23T17:32:04Z) - Multi-level Wavelet-based Generative Adversarial Network for Perceptual
Quality Enhancement of Compressed Video [51.631731922593225]
既存の手法は主に、その知覚的品質を無視しながら、圧縮映像の客観的品質を高めることに焦点を当てている。
圧縮ビデオの知覚品質を高めるために,マルチレベルウェーブレットパケット変換(WPT)に基づくGAN(Generative Adversarial Network)を提案する。
論文 参考訳(メタデータ) (2020-08-02T15:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。