論文の概要: LLVD: LSTM-based Explicit Motion Modeling in Latent Space for Blind Video Denoising

• arxiv url: http://arxiv.org/abs/2501.05744v1
• Date: Fri, 10 Jan 2025 06:20:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:05.099241
• Title: LLVD: LSTM-based Explicit Motion Modeling in Latent Space for Blind Video Denoising
• Title（参考訳）: LLVD:Blind Video Denoisingのための遅延空間におけるLSTMに基づく明示的モーションモデリング
• Authors: Loay Rashid, Siddharth Roheda, Amit Unde,
• Abstract要約: 本稿では,ビデオキャプチャ中にノイズを発生させるシナリオを対象とした新しいアルゴリズムを提案する。 本稿では,終端から終端までの視覚認知モデルであるLatent Space LSTM Video Denoiser (LLVD)を提案する。 LLVDは合成ノイズと捕捉ノイズの両方に優れた性能を示す。
• 参考スコア（独自算出の注目度）: 1.9253333342733672
• License:
• Abstract: Video restoration plays a pivotal role in revitalizing degraded video content by rectifying imperfections caused by various degradations introduced during capturing (sensor noise, motion blur, etc.), saving/sharing (compression, resizing, etc.) and editing. This paper introduces a novel algorithm designed for scenarios where noise is introduced during video capture, aiming to enhance the visual quality of videos by reducing unwanted noise artifacts. We propose the Latent space LSTM Video Denoiser (LLVD), an end-to-end blind denoising model. LLVD uniquely combines spatial and temporal feature extraction, employing Long Short Term Memory (LSTM) within the encoded feature domain. This integration of LSTM layers is crucial for maintaining continuity and minimizing flicker in the restored video. Moreover, processing frames in the encoded feature domain significantly reduces computations, resulting in a very lightweight architecture. LLVD's blind nature makes it versatile for real, in-the-wild denoising scenarios where prior information about noise characteristics is not available. Experiments reveal that LLVD demonstrates excellent performance for both synthetic and captured noise. Specifically, LLVD surpasses the current State-Of-The-Art (SOTA) in RAW denoising by 0.3dB, while also achieving a 59\% reduction in computational complexity.
• Abstract（参考訳）: ビデオ復元は、キャプチャ(センサノイズ、モーションボケ等)、保存/共有(圧縮、リサイズ等)、編集時に導入された様々な劣化による不完全性を補正し、劣化した映像コンテンツを再生する上で重要な役割を担っている。 本稿では、不要なノイズアーティファクトを低減し、映像の視覚的品質を高めることを目的とした、ビデオキャプチャ中にノイズを発生させるシナリオのための新しいアルゴリズムを提案する。 本稿では,終端から終端までの視覚認知モデルであるLatent Space LSTM Video Denoiser (LLVD)を提案する。 LLVDは空間的特徴抽出と時間的特徴抽出を一意に結合し、符号化された特徴領域内にLong Short Term Memory (LSTM) を用いる。 このLSTM層の統合は、再生ビデオにおける連続性とフリッカの最小化に不可欠である。 さらに、符号化された特徴領域におけるフレームの処理は、計算を著しく削減し、非常に軽量なアーキテクチャをもたらす。 LLVDの盲目的性は、ノイズ特性に関する事前情報が入手できない実機での騒音発生シナリオに汎用性をもたらす。 LLVDは合成ノイズと捕捉ノイズの両方に優れた性能を示す。 具体的には、LLVD は現在の RAW における State-Of-The-Art (SOTA) を0.3dB で上回り、計算複雑性を 59 % 削減する。

関連論文リスト

• Denoising Reuse: Exploiting Inter-frame Motion Consistency for Efficient Video Latent Generation [36.098738197088124]
  本研究では,遅延ビデオ生成を高速化する拡散再利用モードネットワークを提案する。 初期のデノナイジングステップの粗いきめのノイズは、連続するビデオフレーム間で高い動きの一貫性を示す。 Mo博士は、慎重に設計された軽量なフレーム間の動きを取り入れることで、これらの粗いノイズを次のフレームに伝播させる。
  論文  参考訳（メタデータ） (2024-09-19T07:50:34Z)
• Video Dynamics Prior: An Internal Learning Approach for Robust Video Enhancements [83.5820690348833]
  外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。 提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
  論文  参考訳（メタデータ） (2023-12-13T01:57:11Z)
• Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
  低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。 これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。 まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。 次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
  論文  参考訳（メタデータ） (2023-05-17T13:56:48Z)
• VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation [88.49030739715701]
  本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。 様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
  論文  参考訳（メタデータ） (2023-03-15T02:16:39Z)
• Learning Task-Oriented Flows to Mutually Guide Feature Alignment in Synthesized and Real Video Denoising [137.5080784570804]
  Video Denoisingは、クリーンなノイズを回復するためにビデオからノイズを取り除くことを目的としている。 既存の研究によっては、近辺のフレームから追加の空間的時間的手がかりを利用することで、光学的流れがノイズ発生の助けとなることが示されている。 本稿では,様々なノイズレベルに対してより堅牢なマルチスケール光フロー誘導型ビデオデノイング法を提案する。
  論文  参考訳（メタデータ） (2022-08-25T00:09:18Z)
• Towards Interpretable Video Super-Resolution via Alternating Optimization [115.85296325037565]
  低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。 本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T21:34:05Z)
• PVDD: A Practical Video Denoising Dataset with Real-World Dynamic Scenes [56.4361151691284]
  PVDD(Practical Video Denoising dataset)は,200個のノイズクリーンな動的ビデオペアをsRGBおよびRAW形式で格納する。 限られた動き情報からなる既存のデータセットと比較すると、PVDDは自然な動きの変化する動的なシーンをカバーしている。
  論文  参考訳（メタデータ） (2022-07-04T12:30:22Z)
• Neural Compression-Based Feature Learning for Video Restoration [29.021502115116736]
  本稿では,映像の再生を支援するために,ノイズ・ロバストな特徴表現の学習を提案する。 ニューラル圧縮モジュールを設計し、ノイズをフィルタリングし、最も有用な情報をビデオ復元の機能として保持する。
  論文  参考訳（メタデータ） (2022-03-17T09:59:26Z)
• Noisy-LSTM: Improving Temporal Awareness for Video Semantic Segmentation [29.00635219317848]
  本稿では,エンドツーエンドで学習可能なNoisy-LSTMという新しいモデルを提案する。 また,ビデオシーケンスのフレームをノイズに置き換える,シンプルで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:08:15Z)
• First image then video: A two-stage network for spatiotemporal video denoising [19.842488445174524]
  ビデオデノナイジングとは、ノイズが破損したデータからノイズを取り除き、真のモーション信号を回復することである。 既存のビデオデノゲーションのアプローチは、ぼやけたアーチファクトに悩まされる傾向にあり、移動物体の境界はぼやけたように見える傾向にある。 本稿では,画像デノナイズモジュールと時間内ビデオデノナイズモジュールからなる,第1像から第2段階のデノナイズニューラルネットワークを提案する。 品質と計算の両面から、Vimeo90Kデータセットを識別するビデオ上で、最先端のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2020-01-02T07:21:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。