論文の概要: ShadowMamba: State-Space Model with Boundary-Region Selective Scan for Shadow Removal
- arxiv url: http://arxiv.org/abs/2411.03260v2
- Date: Sat, 08 Mar 2025 03:12:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:41:12.010183
- Title: ShadowMamba: State-Space Model with Boundary-Region Selective Scan for Shadow Removal
- Title（参考訳）: ShadowMamba:シャドウ除去のための境界領域選択スキャンによる状態空間モデル
- Authors: Xiujin Zhu, Chee-Onn Chow, Joon Huang Chuah,
- Abstract要約: シャドーはいくつかの領域で突然の明るさ変化を引き起こし、下流のタスクの精度に影響を与える可能性がある。
本研究では,影領域,境界領域,非影領域を別々にスキャンする境界領域選択走査機構を提案する。
私たちはShadowMambaと呼ばれる、最初のMambaベースの軽量シャドウ除去モデルを設計した。
- 参考スコア（独自算出の注目度）: 3.5734732877967392
- License:
- Abstract: Image shadow removal is a common low-level vision problem. Shadows cause sudden brightness changes in some areas, which can affect the accuracy of downstream tasks. Currently, Transformer-based shadow removal methods improve computational efficiency by using a window mechanism. However, this approach reduces the effective receptive field and weakens the ability to model long-range dependencies in shadow images. Recently, Mamba has achieved significant success in computer vision by modeling long-sequence information globally with linear complexity. However, when applied to shadow removal, its original scanning mechanism overlooks the semantic continuity along shadow boundaries, and the coherence within each region. To solve this issue, we propose a new boundary-region selective scanning mechanism that scans shadow, boundary, and non-shadow regions separately, making pixels of the same type closer in the sequence. This increases semantic continuity and helps the model understand local details better. Incorporating this idea, we design the first Mamba-based lightweight shadow removal model, called ShadowMamba. It uses a hierarchical combination U-Net structure, which effectively reduces the number of parameters and computational complexity. Shallow layers rely on our boundary-region selective scanning to capture local details, while deeper layers use global cross-scanning to learn global brightness features. Extensive experiments show that ShadowMamba outperforms current state-of-the-art models on ISTD+, ISTD, and SRD datasets, and it also requires fewer parameters and less computational cost. (Code will be made available upon paper acceptance.)
- Abstract（参考訳）: 画像シャドウ除去は、一般的な低レベル視覚問題である。
シャドーはいくつかの領域で突然の明るさ変化を引き起こし、下流のタスクの精度に影響を与える可能性がある。
現在、トランスフォーマーベースのシャドウ除去手法は、ウィンドウ機構を用いて計算効率を向上している。
しかし、このアプローチは、有効受容領域を減らし、シャドウ画像の長距離依存性をモデル化する能力を弱める。
近年,マンバは線形複雑度で時系列情報を世界規模でモデル化することでコンピュータビジョンにおいて大きな成功を収めている。
しかし、シャドウ除去に適用した場合、元の走査機構は、シャドウ境界に沿った意味的連続性と各領域内のコヒーレンスを見落としている。
この問題を解決するために,影領域,境界領域,非陰影領域を別々にスキャンし,同じタイプの画素をシーケンスに近づける境界領域選択走査機構を提案する。
これはセマンティックな連続性を高め、モデルが局所的な詳細をよりよく理解するのに役立ちます。
このアイデアを取り入れた,シャドウマンバをベースとしたシャドウ除去モデルであるシャドウマンバを設計する。
階層的なU-Net構造を使い、パラメータの数と計算複雑性を効果的に削減する。
浅層は局所的な詳細を捉えるために境界領域選択走査に依存し、深い層はグローバルなクロススキャンを使ってグローバルな明るさの特徴を学習します。
大規模な実験により、ShadowMambaはISTD+、ISTD、SRDデータセットの現在の最先端モデルよりも優れており、パラメータも少なく、計算コストも低いことが示されている。
(解法は受理時に行う。)
関連論文リスト
- MetaShadow: Object-Centered Shadow Detection, Removal, and Synthesis [64.00425120075045]
シャドウは画像編集アプリケーションでは過小評価されるか無視されることが多く、編集結果のリアリズムが制限される。
本稿では,自然画像中の影の検出・除去・制御が可能な3-in-one多元性フレームワークであるMetaShadowを紹介する。
論文 参考訳（メタデータ） (2024-12-03T18:04:42Z) - Shadow Removal Refinement via Material-Consistent Shadow Edges [33.8383848078524]
同じ材料で領域を横断する影の縁の両側には、影を適切に取り除けば、原色とテクスチャは同一であるべきである。
画像セグメンテーション基盤モデルであるSAMを微調整し、影不変セグメンテーションを生成し、材料一貫性のあるシャドウエッジを抽出する。
本手法は,より難易度の高い画像に対して,影除去結果の改善に有効であることを示す。
論文 参考訳（メタデータ） (2024-09-10T20:16:28Z) - Soft-Hard Attention U-Net Model and Benchmark Dataset for Multiscale Image Shadow Removal [2.999888908665659]
本研究では,マルチスケールシャドウ除去に着目した,ソフトハード注意U-net(SHAU)という新しいディープラーニングアーキテクチャを提案する。
マルチスケールシャドウ除去データセット(MSRD)と呼ばれる新しい合成データセットを提供し、複数のスケールの複雑なシャドウパターンを含んでいる。
その結果,SHAUは,様々なベンチマークデータセット間で,関連する最先端のシャドウ除去方法に対して有効であることが示された。
論文 参考訳（メタデータ） (2024-08-07T12:42:06Z) - Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。
影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。
この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
論文 参考訳（メタデータ） (2024-07-11T20:58:38Z) - Delving into Dark Regions for Robust Shadow Detection [47.60700654394781]
最先端のディープメソッドは、暗黒領域の非シャドウピクセルとシャドウピクセルを区別する際のエラー率が高い傾向にある。
そこで我々は,まず画像全体を通してグローバルな文脈的手がかりを学習し,次に暗黒領域に拡大して局所的な影表現を学習する,新しいシャドウ検出手法を提案する。
論文 参考訳（メタデータ） (2024-02-21T09:07:07Z) - Learning Restoration is Not Enough: Transfering Identical Mapping for
Single-Image Shadow Removal [19.391619888009064]
最先端のシャドウ除去方法は、収集されたシャドウとシャドウフリーの画像ペアでディープニューラルネットワークを訓練する。
2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、モデルが1つのタスクに最適化される可能性がある。
本稿では,これら2つのタスクを個別に処理し,同一のマッピング結果を利用して,影の復元を反復的に導くことを提案する。
論文 参考訳（メタデータ） (2023-05-18T01:36:23Z) - ShadowFormer: Global Context Helps Image Shadow Removal [41.742799378751364]
シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。
そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。
グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。
本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
論文 参考訳（メタデータ） (2023-02-03T10:54:52Z) - Shadow Removal by High-Quality Shadow Synthesis [78.56549207362863]
HQSSでは、擬似画像を合成するためにシャドウ機能エンコーダとジェネレータを使用している。
HQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットの最先端メソッドよりも優れたパフォーマンスを発揮する。
論文 参考訳（メタデータ） (2022-12-08T06:52:52Z) - ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document
Shadow Removal [53.01990632289937]
本稿では,文書陰影除去のためのトランスフォーマーモデルを提案する。
シャドウとシャドウフリーの両方の領域で、シャドウコンテキストエンコーディングとデコードを使用する。
論文 参考訳（メタデータ） (2022-11-30T01:46:29Z) - Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。
我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。
我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
論文 参考訳（メタデータ） (2022-05-10T14:00:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。