論文の概要: Semi-Supervised Video Desnowing Network via Temporal Decoupling Experts and Distribution-Driven Contrastive Regularization

• arxiv url: http://arxiv.org/abs/2410.07901v1
• Date: Thu, 10 Oct 2024 13:31:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 14:06:16.050901
• Title: Semi-Supervised Video Desnowing Network via Temporal Decoupling Experts and Distribution-Driven Contrastive Regularization
• Title（参考訳）: 時間的デカップリングエキスパートと配電型コントラスト正規化による半監督映像認識ネットワーク
• Authors: Hongtao Wu, Yijun Yang, Angelica I Aviles-Rivero, Jingjing Ren, Sixiang Chen, Haoyu Chen, Lei Zhu,
• Abstract要約: 積雪除去のためのラベルのない実データを含む半教師付き精神におけるビデオ記述のための新しいパラダイムを提案する。 具体的には,85本の雪上ビデオを用いた実世界のデータセットを構築し,新しい配電型コントラスト正規化を備えたセミ教師付きビデオ認識ネットワーク(SemiVDN)を提案する。 厳密な対照的な正規化は、合成データと実データの間の分配ギャップを緩和し、したがって所望の積雪不変背景の詳細を維持する。
• 参考スコア（独自算出の注目度）: 21.22179604024444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Snow degradations present formidable challenges to the advancement of computer vision tasks by the undesirable corruption in outdoor scenarios. While current deep learning-based desnowing approaches achieve success on synthetic benchmark datasets, they struggle to restore out-of-distribution real-world snowy videos due to the deficiency of paired real-world training data. To address this bottleneck, we devise a new paradigm for video desnowing in a semi-supervised spirit to involve unlabeled real data for the generalizable snow removal. Specifically, we construct a real-world dataset with 85 snowy videos, and then present a Semi-supervised Video Desnowing Network (SemiVDN) equipped by a novel Distribution-driven Contrastive Regularization. The elaborated contrastive regularization mitigates the distribution gap between the synthetic and real data, and consequently maintains the desired snow-invariant background details. Furthermore, based on the atmospheric scattering model, we introduce a Prior-guided Temporal Decoupling Experts module to decompose the physical components that make up a snowy video in a frame-correlated manner. We evaluate our SemiVDN on benchmark datasets and the collected real snowy data. The experimental results demonstrate the superiority of our approach against state-of-the-art image- and video-level desnowing methods.
• Abstract（参考訳）: 雪の劣化は、屋外シナリオにおける望ましくない腐敗によるコンピュータビジョンタスクの進歩に重大な課題をもたらす。 現在のディープラーニングベースのDenowingアプローチは、合成ベンチマークデータセットで成功裏に達成されているが、ペアの現実世界のトレーニングデータが不足しているために、配信外の実世界の雪のビデオを復元するのに苦労している。 このボトルネックに対処するため、我々は半教師付き精神でビデオに言及する新しいパラダイムを考案し、一般化可能な除雪のためのラベルのない実データを含む。 具体的には,85本の雪上ビデオを用いた実世界のデータセットを構築し,新しい配電型コントラスト正規化を備えたセミ教師付きビデオ認識ネットワーク(SemiVDN)を提案する。 厳密な対照的な正則化は、合成データと実データの間の分配ギャップを緩和し、したがって、望まれる積雪不変背景の詳細を維持する。 さらに,大気散乱モデルに基づいて,雪映像を構成する物理成分をフレーム関連で分解する事前誘導型テンポラルデカップリングエキスパートモジュールを導入する。 ベンチマークデータセットと実雪データからSemiVDNを評価する。 実験結果から,最新画像とビデオレベルのデノベート手法に対するアプローチの優位性を示した。

関連論文リスト

• End-to-end Inception-Unet based Generative Adversarial Networks for Snow and Rain Removals [15.844888626446078]
  深層学習は、雪や雨のような大気の粒子を単一の画像から取り除くことにアプローチし、古典的なものよりもその使用を好んでいる。 しかし、深層学習に基づくアプローチは、サイズ、タイプ、透明性といった粒子の外観の特徴に関連する課題に依然として悩まされている。 本稿では,各粒子を個別に除去するGAN(Generative Adversarial Networks)とGAN(Generative Adversarial Networks)からなるグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-07T15:58:17Z)
• SemiDDM-Weather: A Semi-supervised Learning Framework for All-in-one Adverse Weather Removal [57.52777076116241]
  逆天候除去は、悪天候下で透明な視界を回復することを目的としている。 本稿では教師ネットワーク上に構築された半教師付きオールインワン悪天候除去フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-29T12:12:22Z)
• BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
  本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。 我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。 実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
  論文  参考訳（メタデータ） (2024-07-03T22:41:49Z)
• Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal [53.15046196592023]
  ビデオの悪天候除去におけるテスト時間適応について紹介する。 本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:21:30Z)
• SRNDiff: Short-term Rainfall Nowcasting with Condition Diffusion Model [5.21064926344773]
  降水予測タスクに拡散モデルを導入する。 本研究では,過去の観測データに基づく条件拡散モデルを用いた短期降水量予測手法を提案する。 余分な条件デコーダモジュールをデノナイジングプロセスに組み込むことで、SRNDiffはエンドツーエンドの条件付き降雨予測を実現する。
  論文  参考訳（メタデータ） (2024-02-21T12:06:06Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering [83.75284107397003]
  本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。 本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-03T13:24:06Z)
• SnowFormer: Scale-aware Transformer via Context Interaction for Single Image Desnowing [9.747362856056162]
  本研究では,SnowFormerと呼ばれる強力なアーキテクチャを提案する。 エンコーダでスケール対応の特徴集約を行い、様々な劣化の豊富な雪情報をキャプチャする。 また、デコーダに新しいコンテキストインタラクショントランスフォーマーブロック(Context Interaction Transformer Block)を使用し、ローカル詳細とグローバル情報のコンテキストインタラクションを実行する。
  論文  参考訳（メタデータ） (2022-08-20T15:01:09Z)
• Unsupervised Restoration of Weather-affected Images using Deep Gaussian Process-based CycleGAN [92.15895515035795]
  本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。 我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。 提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
  論文  参考訳（メタデータ） (2022-04-23T01:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。