論文の概要: AWRaCLe: All-Weather Image Restoration using Visual In-Context Learning

• arxiv url: http://arxiv.org/abs/2409.00263v2
• Date: Sun, 22 Dec 2024 07:10:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 19:21:25.199651
• Title: AWRaCLe: All-Weather Image Restoration using Visual In-Context Learning
• Title（参考訳）: AWRaCLe:ビジュアルインコンテキスト学習による全天候画像復元
• Authors: Sudarshan Rajagopalan, Vishal M. Patel,
• Abstract要約: 悪天候下でのオールウェザー画像復元(AWIR)は、様々な種類の劣化が存在するため難しい課題である。 AWRaCLeは,分解特異的な視覚的コンテキスト情報を革新的に活用し,画像復元プロセスのステアリングを行う,AWIRの新しいアプローチである。 AWRaCLeにはDCE(Degradation Context extract)とCF(Context Fusion)が組み込まれている。
• 参考スコア（独自算出の注目度）: 29.309503214127016
• License:
• Abstract: All-Weather Image Restoration (AWIR) under adverse weather conditions is a challenging task due to the presence of different types of degradations. Prior research in this domain relies on extensive training data but lacks the utilization of additional contextual information for restoration guidance. Consequently, the performance of existing methods is limited by the degradation cues that are learnt from individual training samples. Recent advancements in visual in-context learning have introduced generalist models that are capable of addressing multiple computer vision tasks simultaneously by using the information present in the provided context as a prior. In this paper, we propose All-Weather Image Restoration using Visual In-Context Learning (AWRaCLe), a novel approach for AWIR that innovatively utilizes degradation-specific visual context information to steer the image restoration process. To achieve this, AWRaCLe incorporates Degradation Context Extraction (DCE) and Context Fusion (CF) to seamlessly integrate degradation-specific features from the context into an image restoration network. The proposed DCE and CF blocks leverage CLIP features and incorporate attention mechanisms to adeptly learn and fuse contextual information. These blocks are specifically designed for visual in-context learning under all-weather conditions and are crucial for effective context utilization. Through extensive experiments, we demonstrate the effectiveness of AWRaCLe for all-weather restoration and show that our method advances the state-of-the-art in AWIR.
• Abstract（参考訳）: 悪天候下でのオールウェザー画像復元(AWIR)は、様々な種類の劣化が存在するため難しい課題である。 この領域における以前の研究は、広範なトレーニングデータに依存していたが、修復指導のための追加の文脈情報の利用は欠如している。 その結果、既存の手法の性能は、個別のトレーニングサンプルから学習した劣化キューによって制限される。 近年のビジュアル・イン・コンテキスト・ラーニングの進歩は、提供されたコンテキストに存在する情報を先行として利用することにより、複数のコンピュータビジョンタスクを同時に処理できる汎用モデルを導入している。 本稿では,AWIRの新しい手法であるビジュアル・インコンテクスト・ラーニング(AWRaCLe)を用いたオールウェザー画像復元手法を提案する。 これを実現するために、AWRaCLeは分解コンテキスト抽出(DCE)とコンテキスト融合(CF)を組み込んで、文脈から分解固有の機能を画像復元ネットワークにシームレスに統合する。 提案したDCEブロックとCFブロックは、CLIP機能を活用し、注意機構を組み込んで、文脈情報を積極的に学習し、融合する。 これらのブロックは、全天候条件下での視覚的文脈内学習のために特別に設計されており、効果的な文脈利用に不可欠である。 広範囲にわたる実験を通じて,全天候修復におけるAWRaCLeの有効性を実証し,本手法がAWIRの最先端技術であることを示す。

関連論文リスト

• A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
  画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。 従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。 オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-10-19T11:11:09Z)
• Towards Real-World Adverse Weather Image Restoration: Enhancing Clearness and Semantics with Vision-Language Models [85.53913950137175]
  実環境下での復元性能を高めるために,視覚言語モデルを用いた半教師付き学習フレームワークを定式化する。 クリアネス向上のために、視覚言語モデルと天気予報学習によって評価された擬似ラベルを用いた2段階戦略を用いて、実世界のデータを利用する。 セマンティックエンハンスメントのために,意味を保ちながら視覚言語モデル記述の天気条件を調整し,実世界のデータを統合する。
  論文  参考訳（メタデータ） (2024-09-03T17:56:51Z)
• Continual All-in-One Adverse Weather Removal with Knowledge Replay on a Unified Network Structure [92.8834309803903]
  現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。 我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。 連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
  論文  参考訳（メタデータ） (2024-03-12T03:50:57Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• C-SAW: Self-Supervised Prompt Learning for Image Generalization in Remote Sensing [12.930814370829893]
  本稿では,大規模事前学習型視覚言語モデル(VLM)であるCLIPを用いて,光学リモートセンシング画像の解析における領域およびクラス一般化問題に焦点をあてる。 既存のプロンプト学習技術は、ドメイン情報とコンテンツ情報をプロンプトに組み込むことの重要性を見落としている。 本稿では,視覚的特徴の表現性を高めつつ,ドメイン不変の即時学習を保証するソリューションを提案する。
  論文  参考訳（メタデータ） (2023-11-27T13:35:20Z)
• Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal [97.53040662243768]
  ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
  論文  参考訳（メタデータ） (2023-06-15T10:06:13Z)
• Unsupervised Restoration of Weather-affected Images using Deep Gaussian Process-based CycleGAN [92.15895515035795]
  本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。 我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。 提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
  論文  参考訳（メタデータ） (2022-04-23T01:30:47Z)
• Blind Image Restoration without Prior Knowledge [0.22940141855172028]
  本稿では, 自己Normalization Side-Chain (SCNC) について述べる。 SCNCは既存のCNNトポロジに追加することができ、ネットワークの他の部分とエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2020-03-03T19:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。