論文の概要: Teaching Tailored to Talent: Adverse Weather Restoration via Prompt Pool and Depth-Anything Constraint

• arxiv url: http://arxiv.org/abs/2409.15739v1
• Date: Tue, 24 Sep 2024 04:46:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 09:01:07.448690
• Title: Teaching Tailored to Talent: Adverse Weather Restoration via Prompt Pool and Depth-Anything Constraint
• Title（参考訳）: タレント教育:プロンプトプールと奥行き制約による逆気象回復
• Authors: Sixiang Chen, Tian Ye, Kai Zhang, Zhaohu Xing, Yunlong Lin, Lei Zhu,
• Abstract要約: 予測不能な気象入力を処理するために,新しいパイプラインT3-DiffWeatherを導入する。 我々は、サブプロンプトを自律的に組み合わせて天気予報を構築するプロンプトプールを採用している。 提案手法は,様々な合成および実世界のデータセットにまたがって最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 15.733168323227174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in adverse weather restoration have shown potential, yet the unpredictable and varied combinations of weather degradations in the real world pose significant challenges. Previous methods typically struggle with dynamically handling intricate degradation combinations and carrying on background reconstruction precisely, leading to performance and generalization limitations. Drawing inspiration from prompt learning and the "Teaching Tailored to Talent" concept, we introduce a novel pipeline, T3-DiffWeather. Specifically, we employ a prompt pool that allows the network to autonomously combine sub-prompts to construct weather-prompts, harnessing the necessary attributes to adaptively tackle unforeseen weather input. Moreover, from a scene modeling perspective, we incorporate general prompts constrained by Depth-Anything feature to provide the scene-specific condition for the diffusion process. Furthermore, by incorporating contrastive prompt loss, we ensures distinctive representations for both types of prompts by a mutual pushing strategy. Experimental results demonstrate that our method achieves state-of-the-art performance across various synthetic and real-world datasets, markedly outperforming existing diffusion techniques in terms of computational efficiency.
• Abstract（参考訳）: 近年の悪天候回復の進展は潜在的な可能性を示しているが、予測不可能で多様な現実の天候劣化の組み合わせは重大な課題となっている。 従来の手法では、複雑な劣化の組合せを動的に扱い、背景の復元を正確に行うのに苦労し、性能と一般化の限界に繋がった。 即興学習と「Teaching Tailored to Talent」の概念からインスピレーションを得て,新しいパイプラインT3-DiffWeatherを紹介した。 具体的には、サブプロンプトを自律的に組み合わせて天気予報を構築できるプロンプトプールを採用し、不測の気象入力に適応するために必要な属性を活用する。 さらに、シーンモデリングの観点から、Depth-Anything機能によって制約された一般的なプロンプトを取り入れ、拡散過程のシーン固有条件を提供する。 さらに、コントラスト的なプロンプトロスを組み込むことにより、相互プッシュ戦略により、両タイプのプロンプトに対して特異的な表現を保証する。 実験結果から,提案手法は様々な合成および実世界のデータセットにまたがって最先端の性能を達成し,計算効率において既存の拡散技術よりも優れていたことが示唆された。

関連論文リスト

• WeatherGFM: Learning A Weather Generalist Foundation Model via In-context Learning [69.82211470647349]
  第1次一般気象基礎モデル(WeatherGFM)を紹介する。 気象理解タスクの幅広い範囲を統一的な方法で解決する。 我々のモデルは、天気予報、超解像、天気画像翻訳、後処理など、最大10の気象理解タスクを効果的に処理できる。
  論文  参考訳（メタデータ） (2024-11-08T09:14:19Z)
• Diffusion Models for Monocular Depth Estimation: Overcoming Challenging Conditions [30.148969711689773]
  本稿では, 単一画像深度推定タスクにおいて, ディストリビューションデータの挑戦によって生じる複雑さに対処する新しい手法を提案する。 我々は,包括的課題と関連する深度情報を用いて,新たなユーザ定義シーンを体系的に生成する。 これは、深度認識制御による最先端のテキスト・画像拡散モデルを活用することで実現される。
  論文  参考訳（メタデータ） (2024-07-23T17:59:59Z)
• Continual All-in-One Adverse Weather Removal with Knowledge Replay on a Unified Network Structure [92.8834309803903]
  現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。 我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。 連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
  論文  参考訳（メタデータ） (2024-03-12T03:50:57Z)
• Typhoon Intensity Prediction with Vision Transformer [51.84456610977905]
  台風強度を正確に予測するために「台風強度変換器(Tint)」を導入する。 Tintは、層ごとにグローバルな受容野を持つ自己認識機構を使用する。 公開されている台風ベンチマークの実験は、Tintの有効性を検証する。
  論文  参考訳（メタデータ） (2023-11-28T03:11:33Z)
• WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions [42.99525455786019]
  カリキュラムのコントラスト学習による自己教師付き頑健な深度推定モデルであるWeatherDepthを提案する。 提案手法は様々なアーキテクチャに容易に組み込めることが証明され、合成および実際の気象データセット上での最先端(SoTA)性能を示す。
  論文  参考訳（メタデータ） (2023-10-09T09:26:27Z)
• DiffPrompter: Differentiable Implicit Visual Prompts for Semantic-Segmentation in Adverse Conditions [14.52296033767276]
  DiffPrompterは、視覚的かつ潜時的な新しいプロンプト機構である。 提案した$nabla$HFC画像処理ブロックは,特に悪天候条件下では優れている。
  論文  参考訳（メタデータ） (2023-10-06T11:53:04Z)
• Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal [97.53040662243768]
  ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
  論文  参考訳（メタデータ） (2023-06-15T10:06:13Z)
• Unsupervised Restoration of Weather-affected Images using Deep Gaussian Process-based CycleGAN [92.15895515035795]
  本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。 我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。 提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
  論文  参考訳（メタデータ） (2022-04-23T01:30:47Z)
• DeFeat-Net: General Monocular Depth via Simultaneous Unsupervised Representation Learning [65.94499390875046]
  DeFeat-Netは、クロスドメインの高密度な特徴表現を同時に学習するアプローチである。 提案手法は, 誤差対策を全て10%程度減らすことで, 最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2020-03-30T13:10:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。