論文の概要: Cross-Modal Spherical Aggregation for Weakly Supervised Remote Sensing Shadow Removal
- arxiv url: http://arxiv.org/abs/2406.17469v1
- Date: Tue, 25 Jun 2024 11:14:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 14:32:18.425771
- Title: Cross-Modal Spherical Aggregation for Weakly Supervised Remote Sensing Shadow Removal
- Title（参考訳）: 弱めに監視されたリモートセンシングシャドウ除去のためのクロスモーダル球面凝集法
- Authors: Kaichen Chi, Wei Jing, Junjie Li, Qiang Li, Qi Wang,
- Abstract要約: 本研究では,S2-ShadowNetと呼ばれる球面特徴空間を持つ弱教師付きシャドウ除去ネットワークを提案する。
具体的には、クロスドメインマッピングを学習するために、モーダル変換(可視赤外)モデルを使用し、現実的な赤外線サンプルを生成する。
シャドウマスクを用いた4000個のシャドウ画像を含む,大規模に監督されたシャドウ除去ベンチマークに寄与する。
- 参考スコア（独自算出の注目度）: 22.4845448174729
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Remote sensing shadow removal, which aims to recover contaminated surface information, is tricky since shadows typically display overwhelmingly low illumination intensities. In contrast, the infrared image is robust toward significant light changes, providing visual clues complementary to the visible image. Nevertheless, the existing methods ignore the collaboration between heterogeneous modalities, leading to undesired quality degradation. To fill this gap, we propose a weakly supervised shadow removal network with a spherical feature space, dubbed S2-ShadowNet, to explore the best of both worlds for visible and infrared modalities. Specifically, we employ a modal translation (visible-to-infrared) model to learn the cross-domain mapping, thus generating realistic infrared samples. Then, Swin Transformer is utilized to extract strong representational visible/infrared features. Simultaneously, the extracted features are mapped to the smooth spherical manifold, which alleviates the domain shift through regularization. Well-designed similarity loss and orthogonality loss are embedded into the spherical space, prompting the separation of private visible/infrared features and the alignment of shared visible/infrared features through constraints on both representation content and orientation. Such a manner encourages implicit reciprocity between modalities, thus providing a novel insight into shadow removal. Notably, ground truth is not available in practice, thus S2-ShadowNet is trained by cropping shadow and shadow-free patches from the shadow image itself, avoiding stereotypical and strict pair data acquisition. More importantly, we contribute a large-scale weakly supervised shadow removal benchmark, including 4000 shadow images with corresponding shadow masks.
- Abstract（参考訳）: リモートセンシングのシャドウ除去は、汚染された表面情報を復元することを目的としており、通常、影は照度が圧倒的に低いため、難しい。
対照的に、赤外線画像は重要な光の変化に対して堅牢であり、可視画像と相補的な視覚的手がかりを提供する。
しかし、既存の手法は不均一なモダリティ間の協調を無視し、望ましくない品質劣化を招いた。
このギャップを埋めるために、S2-ShadowNetと呼ばれる球面特徴空間を持つ弱教師付きシャドウ除去ネットワークを提案し、可視光と赤外光の両世界のベストを探索する。
具体的には、クロスドメインマッピングを学習するために、モーダル変換(可視赤外)モデルを使用し、現実的な赤外線サンプルを生成する。
次に、Swin Transformerを使用して、強い表現的可視/赤外線特徴を抽出する。
同時に、抽出された特徴は滑らかな球面多様体に写像され、正規化による領域シフトが緩和される。
良く設計された類似性損失と直交性損失は球面空間に埋め込まれており、表現内容と向きの両方の制約により、プライベート可視/赤外線特徴の分離と共有可視/赤外線特徴のアライメントが促される。
このようなやり方は、モダリティ間の暗黙の相互性を促進するため、影の除去に関する新しい洞察を与える。
そこでS2-ShadowNetはシャドウイメージ自体からシャドウやシャドウのないパッチをトリミングすることで、ステレオタイプと厳密なペアデータ取得を回避している。
さらに重要なことは、4000個のシャドウ画像と対応するシャドウマスクを含む、大規模に監督されたシャドウ除去ベンチマークに寄与する。
関連論文リスト
- SwinShadow: Shifted Window for Ambiguous Adjacent Shadow Detection [90.4751446041017]
スウィンシャドウ(SwinShadow)は、隣接する影を検出するための強力なシフトウインドウ機構をフル活用したトランスフォーマーベースのアーキテクチャである。
プロセス全体は、エンコーダ、デコーダ、機能統合の3つの部分に分けられる。
SBU, UCF, ISTDの3つのシャドウ検出ベンチマークデータセットの実験により, ネットワークがバランスエラー率(BER)の点で優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-08-07T03:16:33Z) - Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。
影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。
この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
論文 参考訳（メタデータ） (2024-07-11T20:58:38Z) - ShadowRefiner: Towards Mask-free Shadow Removal via Fast Fourier Transformer [41.008740643546226]
影に影響された画像は、しばしば色と照明の空間的な違いが顕著に現れる。
我々はFast Fourier Transformerを介してマスクレスシャドウ除去・精細ネットワーク(ShadowRefiner)を導入する。
本手法は,NTIRE 2024画像シャドウ除去チャレンジのフィデリティトラックにおいて,第2位を達成し,パーセプチュアルトラックのタイトルを獲得した。
論文 参考訳（メタデータ） (2024-04-18T03:53:33Z) - SIRe-IR: Inverse Rendering for BRDF Reconstruction with Shadow and
Illumination Removal in High-Illuminance Scenes [51.50157919750782]
本稿では,環境マップ,アルベド,粗さにシーンを分解する暗黙のニューラルレンダリング逆アプローチSIRe-IRを提案する。
間接放射場、通常光、可視光、および直接光を同時に正確にモデル化することにより、影と間接光の両方を除去することができる。
強い照明の存在下でも,影の干渉を伴わずに高品質なアルベドと粗さを回収する。
論文 参考訳（メタデータ） (2023-10-19T10:44:23Z) - Learning Restoration is Not Enough: Transfering Identical Mapping for
Single-Image Shadow Removal [19.391619888009064]
最先端のシャドウ除去方法は、収集されたシャドウとシャドウフリーの画像ペアでディープニューラルネットワークを訓練する。
2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、モデルが1つのタスクに最適化される可能性がある。
本稿では,これら2つのタスクを個別に処理し,同一のマッピング結果を利用して,影の復元を反復的に導くことを提案する。
論文 参考訳（メタデータ） (2023-05-18T01:36:23Z) - Leveraging Inpainting for Single-Image Shadow Removal [29.679542372017373]
本研究では,画像インペイントデータセットにおける影除去ネットワークの事前学習により,影の残差を著しく低減できることを示す。
単純エンコーダ・デコーダネットワークは、10%のシャドウとシャドウフリーの画像ペアで、最先端の手法で競合する復元品質を得る。
これらの観測から着想を得て,影の除去と画像の塗装を両立させる適応融合タスクとして,影の除去を定式化する。
論文 参考訳（メタデータ） (2023-02-10T16:21:07Z) - ShadowFormer: Global Context Helps Image Shadow Removal [41.742799378751364]
シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。
そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。
グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。
本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
論文 参考訳（メタデータ） (2023-02-03T10:54:52Z) - Structure-Informed Shadow Removal Networks [67.57092870994029]
既存のディープラーニングベースのシャドウ除去手法は、依然として影の残像を持つ画像を生成する。
本稿では,影残差問題に対処するために,画像構造情報を活用する構造インフォームド・シャドウ除去ネットワーク(StructNet)を提案する。
我々の手法は既存のシャドウ除去方法よりも優れており、StructNetは既存の手法と統合してさらに改善することができる。
論文 参考訳（メタデータ） (2023-01-09T06:31:52Z) - CRFormer: A Cross-Region Transformer for Shadow Removal [27.67680052355886]
影除去のための新しいクロスリージョントランス、CRFormerを提案する。
これは、慎重に設計された地域対応のクロスアテンション操作によって実現される。
ISTD, AISTD, SRD, およびビデオシャドウ除去データセットの実験により, 本手法の優位性を実証した。
論文 参考訳（メタデータ） (2022-07-04T17:33:02Z) - Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。
我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。
我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
論文 参考訳（メタデータ） (2022-05-10T14:00:48Z) - R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。
本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。
提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
論文 参考訳（メタデータ） (2021-09-20T15:09:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。