論文の概要: Spatiotemporal Blind-Spot Network with Calibrated Flow Alignment for Self-Supervised Video Denoising

• arxiv url: http://arxiv.org/abs/2412.11820v1
• Date: Mon, 16 Dec 2024 14:37:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:56:43.773826
• Title: Spatiotemporal Blind-Spot Network with Calibrated Flow Alignment for Self-Supervised Video Denoising
• Title（参考訳）: 自己監督型ビデオデノーミングのためのキャリブレーションフローアライメント付き時空間ブラインド・スポットネットワーク
• Authors: Zikang Chen, Tao Jiang, Xiaowan Hu, Wang Zhang, Huaqiu Li, Haoqian Wang,
• Abstract要約: 自己監督型ビデオデノベーションは、地上の真実データに頼ることなく、ビデオからノイズを取り除くことを目的としている。 本研究では,グローバルフレーム機能利用のための時空間ブラインドスポットネットワーク(STBN)を提案する。 提案手法は,合成および実世界のビデオデノゲーションデータセットにおいて,優れた性能を示す。
• 参考スコア（独自算出の注目度）: 23.07977702905715
• License:
• Abstract: Self-supervised video denoising aims to remove noise from videos without relying on ground truth data, leveraging the video itself to recover clean frames. Existing methods often rely on simplistic feature stacking or apply optical flow without thorough analysis. This results in suboptimal utilization of both inter-frame and intra-frame information, and it also neglects the potential of optical flow alignment under self-supervised conditions, leading to biased and insufficient denoising outcomes. To this end, we first explore the practicality of optical flow in the self-supervised setting and introduce a SpatioTemporal Blind-spot Network (STBN) for global frame feature utilization. In the temporal domain, we utilize bidirectional blind-spot feature propagation through the proposed blind-spot alignment block to ensure accurate temporal alignment and effectively capture long-range dependencies. In the spatial domain, we introduce the spatial receptive field expansion module, which enhances the receptive field and improves global perception capabilities. Additionally, to reduce the sensitivity of optical flow estimation to noise, we propose an unsupervised optical flow distillation mechanism that refines fine-grained inter-frame interactions during optical flow alignment. Our method demonstrates superior performance across both synthetic and real-world video denoising datasets. The source code is publicly available at https://github.com/ZKCCZ/STBN.
• Abstract（参考訳）: 自己監督型ビデオ装飾は、地上の真実データに頼ることなく、ビデオからノイズを取り除くことを目的としており、ビデオ自体を利用してクリーンなフレームを復元する。 既存の手法は、しばしば単純化された特徴積み重ねや、徹底的な分析なしに光学的流れを適用することに依存している。 これにより、フレーム間情報とフレーム内情報の両方を最適に利用でき、また、自己監督された条件下での光フローアライメントの可能性も無視され、偏りがあり、偏りのない結果をもたらす。 この目的のために,我々はまず,自己監督設定における光フローの実用性を探求し,グローバルフレーム特徴量利用のための時空間ブラインドスポットネットワーク(STBN)を導入する。 時間領域では、提案した盲点アライメントブロックを介して双方向の盲点特徴伝搬を利用して、正確な時間的アライメントを保証し、長距離依存を効果的に捕捉する。 空間領域では,空間受容場拡張モジュールを導入し,空間受容場を強化し,大域的知覚能力を向上させる。 さらに、ノイズに対する光フロー推定の感度を低減するために、光フローアライメント中の微粒なフレーム間相互作用を洗練させる教師なし光フロー蒸留機構を提案する。 提案手法は,合成および実世界のビデオデノゲーションデータセットにおいて,優れた性能を示す。 ソースコードはhttps://github.com/ZKCCZ/STBNで公開されている。

関連論文リスト

• Unrolled Decomposed Unpaired Learning for Controllable Low-Light Video Enhancement [48.76608212565327]
  本稿では,2対の地上真実を使わずに,低照度映像のエンハンスメントを学習する上での取り組みについて述べる。 低照度画像の強調に比べて、空間領域におけるノイズ、露出、コントラストの相互干渉効果により、時間的コヒーレンスの必要性が伴うため、低照度映像の強調は困難である。 本稿では,信号の空間的・時間的関連要因に分解するために,最適化関数を深層ネットワークにアンロールすることで低照度映像の高精細化を実現するUnrolled Decompposed Unpaired Network (UDU-Net)を提案する。
  論文  参考訳（メタデータ） (2024-08-22T11:45:11Z)
• OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
  本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。 我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
  論文  参考訳（メタデータ） (2024-03-26T20:23:48Z)
• STint: Self-supervised Temporal Interpolation for Geospatial Data [0.0]
  監督・監督されていない技術は、ビデオデータの時間的可能性を実証している。 最も一般的な時間的手法は、ビデオフレーム間のピクセルの動きを符号化する光の流れにヒンジする。 本研究では,地上の真実データに頼らず,光学的流れのような動き情報を必要としない,教師なしの時間的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-31T18:04:50Z)
• Recurrent Self-Supervised Video Denoising with Denser Receptive Field [33.3711070590966]
  自己監督型ビデオデノベーションは、盲点ネットワークを利用することで、かなり進歩している。 従来の自己監督型ビデオデノゲーション手法は、参照フレーム全体または隣接フレーム内の重要な情報損失とテクスチャ破壊に悩まされていた。 本稿では、より密集した受容場を持つ参照フレームと隣接フレームの両方をフル活用する自己教師型ビデオデノベーションのためのRDRFを提案する。
  論文  参考訳（メタデータ） (2023-08-07T14:09:08Z)
• Learning Task-Oriented Flows to Mutually Guide Feature Alignment in Synthesized and Real Video Denoising [137.5080784570804]
  Video Denoisingは、クリーンなノイズを回復するためにビデオからノイズを取り除くことを目的としている。 既存の研究によっては、近辺のフレームから追加の空間的時間的手がかりを利用することで、光学的流れがノイズ発生の助けとなることが示されている。 本稿では,様々なノイズレベルに対してより堅牢なマルチスケール光フロー誘導型ビデオデノイング法を提案する。
  論文  参考訳（メタデータ） (2022-08-25T00:09:18Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Unsupervised Motion Representation Enhanced Network for Action Recognition [4.42249337449125]
  連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。 効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。 UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
  論文  参考訳（メタデータ） (2021-03-05T04:14:32Z)
• Intrinsic Temporal Regularization for High-resolution Human Video Synthesis [59.54483950973432]
  時間整合性は、画像処理パイプラインをビデオドメインに拡張する上で重要である。 フレームジェネレーターを介して本質的信頼度マップを推定し,運動推定を調節する,本質的な時間正規化方式を提案する。 我々は、本質的な時間的規制をシングルイメージジェネレータに適用し、強力な「Internet」が512Times512$の人間のアクションビデオを生成します。
  論文  参考訳（メタデータ） (2020-12-11T05:29:45Z)
• Learning Model-Blind Temporal Denoisers without Ground Truths [46.778450578529814]
  合成データで訓練されたデノイザーは、未知のノイズの多様性に対処できないことが多い。 従来の画像ベース手法は、ビデオデノイザに直接適用した場合、ノイズが過度に収まる。 本稿では,これらの課題に対処する上で有効な,ビデオ・デノベーション・ネットワークの汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-07T07:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。