論文の概要: Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal

• arxiv url: http://arxiv.org/abs/2403.07684v1
• Date: Tue, 12 Mar 2024 14:21:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 21:12:03.836629
• Title: Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal
• Title（参考訳）: 実技からの真正な知識:拡散試験時間適応による悪天候除去
• Authors: Yijun Yang, Hongtao Wu, Angelica I. Aviles-Rivero, Yulun Zhang, Jing Qin, Lei Zhu
• Abstract要約: ビデオの悪天候除去におけるテスト時間適応について紹介する。 本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 53.15046196592023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world vision tasks frequently suffer from the appearance of unexpected adverse weather conditions, including rain, haze, snow, and raindrops. In the last decade, convolutional neural networks and vision transformers have yielded outstanding results in single-weather video removal. However, due to the absence of appropriate adaptation, most of them fail to generalize to other weather conditions. Although ViWS-Net is proposed to remove adverse weather conditions in videos with a single set of pre-trained weights, it is seriously blinded by seen weather at train-time and degenerates when coming to unseen weather during test-time. In this work, we introduce test-time adaptation into adverse weather removal in videos, and propose the first framework that integrates test-time adaptation into the iterative diffusion reverse process. Specifically, we devise a diffusion-based network with a novel temporal noise model to efficiently explore frame-correlated information in degraded video clips at training stage. During inference stage, we introduce a proxy task named Diffusion Tubelet Self-Calibration to learn the primer distribution of test video stream and optimize the model by approximating the temporal noise model for online adaptation. Experimental results, on benchmark datasets, demonstrate that our Test-Time Adaptation method with Diffusion-based network(Diff-TTA) outperforms state-of-the-art methods in terms of restoring videos degraded by seen weather conditions. Its generalizable capability is also validated with unseen weather conditions in both synthesized and real-world videos.
• Abstract（参考訳）: 現実の視覚タスクは、雨、干し草、雪、雨滴など、予期せぬ悪天候の出現にしばしば悩まされる。 過去10年間、畳み込みニューラルネットワークと視覚トランスフォーマーは、シングルウィーザービデオの除去において際立った結果をもたらしてきた。 しかし、適切な適応がないため、その多くは他の気象条件への一般化に失敗している。 ViWS-Netは、トレーニング済みの1セットの重量でビデオの悪天候を除去するために提案されているが、テスト時間中に見知らぬ天気になると、列車時の天気と退化によって深刻な盲目となる。 本研究では,ビデオの悪天候除去にテスト時適応を導入し,反復拡散逆過程にテスト時適応を統合する最初のフレームワークを提案する。 具体的には,新しい時間雑音モデルを用いた拡散型ネットワークを考案し,学習段階における劣化映像のフレーム関連情報を効率的に探索する。 推論の段階では、Diffusion tubelet Self-Calibrationというプロキシタスクを導入し、テストビデオストリームのプライマー分布を学習し、オンライン適応のための時間雑音モデルを用いてモデルを最適化する。 実験の結果,Diffusion-based network(Diff-TTA)を用いたテスト時間適応法は,気象条件により劣化したビデオの復元において,最先端の手法よりも優れていた。 一般化可能な能力は、合成ビデオと実世界のビデオの両方で目に見えない気象条件で検証される。

関連論文リスト

• Semi-Supervised Video Desnowing Network via Temporal Decoupling Experts and Distribution-Driven Contrastive Regularization [21.22179604024444]
  積雪除去のためのラベルのない実データを含む半教師付き精神におけるビデオ記述のための新しいパラダイムを提案する。 具体的には,85本の雪上ビデオを用いた実世界のデータセットを構築し,新しい配電型コントラスト正規化を備えたセミ教師付きビデオ認識ネットワーク(SemiVDN)を提案する。 厳密な対照的な正規化は、合成データと実データの間の分配ギャップを緩和し、したがって所望の積雪不変背景の詳細を維持する。
  論文  参考訳（メタデータ） (2024-10-10T13:31:42Z)
• WeatherProof: A Paired-Dataset Approach to Semantic Segmentation in Adverse Weather [9.619700283574533]
  本稿では,悪天候条件下での画像の性能向上につながる一般的なペア学習手法を提案する。 我々は、正確な晴天と悪天候画像のペアで、最初のセマンティックセグメンテーションデータセットを作成する。 その結果,これら2組の晴天フレームと悪天候フレームのトレーニングにより,悪天候データの性能が向上することが判明した。
  論文  参考訳（メタデータ） (2023-12-15T04:57:54Z)
• Video Adverse-Weather-Component Suppression Network via Weather Messenger and Adversarial Backpropagation [45.184188689391775]
  ビデオ悪天候抑制ネットワーク(ViWS-Net)を開発することにより、悪天候条件から映像を復元する第1の枠組みを提案する。 我々のViWS-Netは、あらゆる気象条件で劣化したビデオの復元において、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2023-09-24T17:13:55Z)
• Robust Monocular Depth Estimation under Challenging Conditions [81.57697198031975]
  最先端のモノクル深度推定手法は、難解な照明や気象条件下では信頼性が低い。 我々はmd4allでこれらの安全クリティカルな問題に取り組む: 単純で効果的なソリューションで、悪条件と理想条件の両方で確実に機能する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:01Z)
• Sit Back and Relax: Learning to Drive Incrementally in All Weather Conditions [16.014293219912]
  自律走行シナリオでは、現在の物体検出モデルは、晴れた天候でテストした場合に強い性能を示す。 天気予報ネットワークのアフィンパラメータのみを異なる気象条件に適応させるために, DILAM(Domain-Incremental Learning through Activation Matching)を提案する。 私たちのメモリバンクは非常に軽量で、アフィンパラメータは典型的な物体検出器の2%以下である。
  論文  参考訳（メタデータ） (2023-05-30T11:37:41Z)
• ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering [83.75284107397003]
  本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。 本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-03T13:24:06Z)
• Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
  ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。 降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
  論文  参考訳（メタデータ） (2021-07-14T21:10:47Z)
• Mutual-GAN: Towards Unsupervised Cross-Weather Adaptation with Mutual Information Constraint [32.67453558911618]
  畳み込みニューラルネットワーク(CNN)はセマンティックセグメンテーション(セマンティックセグメンテーション)の成功を証明している。 現実的な応用では、屋外の天気と照明は、例えば、曇りや夜間のように変更可能であり、CNNの日中のデータでのみ訓練されたセマンティックセマンティックセマンティクスの精度が著しく低下する。 本研究では,悪天候下で撮影された映像に対して,日中トレーニングニューラルネットワークを適用した場合の精度低下を軽減するために,新たな生成逆ネットワーク(Mutual-GAN)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:44:22Z)
• Robust Unsupervised Video Anomaly Detection by Multi-Path Frame Prediction [61.17654438176999]
  本稿では,フレーム予測と適切な設計による新規で頑健な非教師付きビデオ異常検出手法を提案する。 提案手法は,CUHK Avenueデータセット上で88.3%のフレームレベルAUROCスコアを得る。
  論文  参考訳（メタデータ） (2020-11-05T11:34:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。