論文の概要: Adaptive High-Pass Kernel Prediction for Efficient Video Deblurring
- arxiv url: http://arxiv.org/abs/2412.01559v1
- Date: Mon, 02 Dec 2024 14:47:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:45:02.067178
- Title: Adaptive High-Pass Kernel Prediction for Efficient Video Deblurring
- Title(参考訳): 効率的なビデオデブリのための適応型ハイパスカーネル予測
- Authors: Bo Ji, Angela Yao,
- Abstract要約: 最先端のビデオデブロアリング手法は、深層ネットワークアーキテクチャを用いて、シャープ化されたビデオフレームを復元する。
細部とエッジをキャプチャするために、明示的なネットワーク構造を実装します。
この戦略は非常に効率的で、トレーニングのための低メモリフットプリントと推論のための高速実行を実現している。
- 参考スコア(独自算出の注目度): 42.85362760049813
- License:
- Abstract: State-of-the-art video deblurring methods use deep network architectures to recover sharpened video frames. Blurring especially degrades high-frequency (HF) information, yet this aspect is often overlooked by recent models that focus more on enhancing architectural design. Recovering these fine details is challenging, partly due to the spectral bias of neural networks, which are inclined towards learning low-frequency functions. To address this, we enforce explicit network structures to capture the fine details and edges. We dynamically predict adaptive high-pass kernels from a linear combination of high-pass basis kernels to extract high-frequency features. This strategy is highly efficient, resulting in low-memory footprints for training and fast run times for inference, all while achieving state-of-the-art when compared to low-budget models. The code is available at https://github.com/jibo27/AHFNet.
- Abstract(参考訳): 最先端のビデオデブロアリング手法は、深層ネットワークアーキテクチャを用いて、シャープ化されたビデオフレームを復元する。
ブラーリングは特に高周波(HF)情報を劣化させるが、アーキテクチャ設計の強化に重点を置く最近のモデルでは、この側面は見落とされがちである。
ニューラルネットワークのスペクトルバイアスが低周波関数の学習に傾いていることも理由のひとつだ。
この問題に対処するために、細部とエッジをキャプチャするために、明示的なネットワーク構造を強制する。
我々は高域ベースカーネルの線形結合から適応的な高域カーネルを動的に予測し、高周波の特徴を抽出する。
この戦略は非常に効率的で、トレーニング用の低メモリフットプリントと推論のための高速な実行時間を実現すると同時に、低予算モデルと比較して最先端の達成を実現している。
コードはhttps://github.com/jibo27/AHFNetで入手できる。
関連論文リスト
- BF-STVSR: B-Splines and Fourier-Best Friends for High Fidelity Spatial-Temporal Video Super-Resolution [14.082598088990352]
本稿では,映像の空間的特徴と時間的特徴をよりよく表現するための2つのキーモジュールを備えたC-STVSRフレームワークを提案する。
提案手法は最新のPSNRとSSIMの性能を実現し,空間的詳細化と時間的自然整合性を示す。
論文 参考訳(メタデータ) (2025-01-19T13:29:41Z) - High-Frequency Enhanced Hybrid Neural Representation for Video Compression [32.38933743785333]
本稿では,高周波拡張型ハイブリッドニューラル表現ネットワークを提案する。
本手法は,ネットワークによる細部合成を改善するために,高周波情報を活用することに焦点を当てている。
BunnyおよびUVGデータセットの実験は、我々の手法が他の手法よりも優れていることを示した。
論文 参考訳(メタデータ) (2024-11-11T03:04:46Z) - Hierarchical Patch Diffusion Models for High-Resolution Video Generation [50.42746357450949]
我々は,階層的な方法で,コンテキスト情報を低スケールから高スケールのパッチに伝播する深層文脈融合を開発する。
また,ネットワーク容量の増大と,粗い画像の細部への演算を行う適応計算を提案する。
得られたモデルは、クラス条件のビデオ生成において66.32の最先端FVDスコアと87.68のインセプションスコアを新たに設定する。
論文 参考訳(メタデータ) (2024-06-12T01:12:53Z) - Boosting Neural Representations for Videos with a Conditional Decoder [28.073607937396552]
Inlicit Neural representations (INRs) は、ビデオストレージと処理において有望なアプローチとして登場した。
本稿では,現在の暗黙的ビデオ表現手法のための普遍的なブースティングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-28T08:32:19Z) - Hierarchical Graph Pattern Understanding for Zero-Shot VOS [102.21052200245457]
本稿では、ゼロショットビデオオブジェクトセグメンテーション(ZS-VOS)のための新しい階層型グラフニューラルネットワーク(GNN)アーキテクチャを提案する。
構造的関係を捕捉するGNNの強い能力にインスパイアされたHGPUは、運動キュー(すなわち光の流れ)を革新的に活用し、ターゲットフレームの隣人からの高次表現を強化する。
論文 参考訳(メタデータ) (2023-12-15T04:13:21Z) - Hyb-NeRF: A Multiresolution Hybrid Encoding for Neural Radiance Fields [12.335934855851486]
マルチレゾリューションハイブリッド符号化を用いた新しい神経放射場であるHyb-NeRFを提案する。
本稿では,Hyb-NeRFのレンダリング速度が向上し,レンダリング性能が向上し,従来の手法と比較してメモリフットプリントも低くなることを示す。
論文 参考訳(メタデータ) (2023-11-21T10:01:08Z) - Progressive Fourier Neural Representation for Sequential Video
Compilation [75.43041679717376]
連続学習によって動機づけられたこの研究は、シーケンシャルエンコーディングセッションを通じて、複数の複雑なビデオデータに対して、ニューラル暗黙表現を蓄積し、転送する方法を研究する。
本稿では,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という手法を提案する。
我々は,UVG8/17とDAVIS50のビデオシーケンスベンチマークでPFNR法を検証し,強力な連続学習ベースラインよりも優れた性能向上を実現した。
論文 参考訳(メタデータ) (2023-06-20T06:02:19Z) - Online Video Super-Resolution with Convolutional Kernel Bypass Graft [42.32318235565591]
畳み込みカーネルバイパスグラフト (CKBG) という新しいカーネル知識伝達法に基づく極低遅延VSRアルゴリズムを提案する。
実験結果から,提案手法は最大110FPSまでのオンラインビデオシーケンスを処理可能であることがわかった。
論文 参考訳(メタデータ) (2022-08-04T05:46:51Z) - Inception Transformer [151.939077819196]
インセプショントランスフォーマー(iFormer)は、視覚データ中の高周波数情報と低周波情報の両方で包括的特徴を学習する。
我々は、iFormerを一連の視覚タスクでベンチマークし、画像分類、COCO検出、ADE20Kセグメンテーションにおいて優れた性能を発揮することを示した。
論文 参考訳(メタデータ) (2022-05-25T17:59:54Z) - Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action
Localization [96.73647162960842]
TALはビデオ理解の基本的な課題だが、難しい課題だ。
既存のtalメソッドは、アクション分類の監督を通じてビデオエンコーダを事前トレーニングする。
本稿では,ローファイダリティ・エンド・ツー・エンド(LoFi)ビデオエンコーダの事前学習手法を提案する。
論文 参考訳(メタデータ) (2021-03-28T22:18:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。