論文の概要: Learning Shadow Correspondence for Video Shadow Detection

• arxiv url: http://arxiv.org/abs/2208.00150v1
• Date: Sat, 30 Jul 2022 06:30:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 13:41:08.713987
• Title: Learning Shadow Correspondence for Video Shadow Detection
• Title（参考訳）: ビデオシャドウ検出のためのシャドウ対応学習
• Authors: Xinpeng Ding and Jingweng Yang and Xiaowei Hu and Xiaomeng Li
• Abstract要約: 本稿では,ビデオシャドウ検出のためのフレーム間の特定のシャドウ領域の画素単位の類似性を高めるための新しいシャドウ一貫性対応法(SC-Cor)を提案する。 SC-Corは、余分な計算コストなしで既存のシャドウ検出器に簡単に統合できるプラグアンドプレイモジュールである。 実験結果から, SC-CorはIoUでは6.51%, 新たに導入された時間安定度では3.35%, 従来の最先端法よりも優れていた。
• 参考スコア（独自算出の注目度）: 42.1593380820498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video shadow detection aims to generate consistent shadow predictions among video frames. However, the current approaches suffer from inconsistent shadow predictions across frames, especially when the illumination and background textures change in a video. We make an observation that the inconsistent predictions are caused by the shadow feature inconsistency, i.e., the features of the same shadow regions show dissimilar proprieties among the nearby frames.In this paper, we present a novel Shadow-Consistent Correspondence method (SC-Cor) to enhance pixel-wise similarity of the specific shadow regions across frames for video shadow detection. Our proposed SC-Cor has three main advantages. Firstly, without requiring the dense pixel-to-pixel correspondence labels, SC-Cor can learn the pixel-wise correspondence across frames in a weakly-supervised manner. Secondly, SC-Cor considers intra-shadow separability, which is robust to the variant textures and illuminations in videos. Finally, SC-Cor is a plug-and-play module that can be easily integrated into existing shadow detectors with no extra computational cost. We further design a new evaluation metric to evaluate the temporal stability of the video shadow detection results. Experimental results show that SC-Cor outperforms the prior state-of-the-art method, by 6.51% on IoU and 3.35% on the newly introduced temporal stability metric.
• Abstract（参考訳）: ビデオシャドウ検出は、ビデオフレーム間で一貫したシャドウ予測を生成することを目的としている。 しかし、現在のアプローチでは、特に映像の照明や背景テクスチャが変化した場合、フレーム間で一貫性のない影の予測に苦しむ。 そこで本研究では,同一のシャドウ領域の特徴が近傍のフレーム間で異なる特性を示すというシャドウ特徴の不整合性に起因する不整合予測を観測し,映像シャドウ検出のためのフレーム間の特定のシャドウ領域の画素間類似性を高めるための新しいシャドウ整合対応法(sc-cor)を提案する。 提案するSC-Corには3つの利点がある。 第一に、SC-Corは高密度画素対ピクセル対応ラベルを必要とせずに、フレーム間の画素ワイド対応を弱教師付きで学習することができる。 第2に、SC-Corはシャドウ内の分離性について検討している。 最後に、sc-corはプラグアンドプレイモジュールであり、計算コストなしで既存のシャドウ検出器に簡単に統合できる。 さらに,ビデオシャドウ検出結果の時間的安定性を評価するための新しい評価指標を設計する。 実験結果から, SC-CorはIoUでは6.51%, 新たに導入された時間安定度では3.35%, 従来の最先端法よりも優れていた。

関連論文リスト

• MetaShadow: Object-Centered Shadow Detection, Removal, and Synthesis [64.00425120075045]
  シャドウは画像編集アプリケーションでは過小評価されるか無視されることが多く、編集結果のリアリズムが制限される。 本稿では,自然画像中の影の検出・除去・制御が可能な3-in-one多元性フレームワークであるMetaShadowを紹介する。
  論文  参考訳（メタデータ） (2024-12-03T18:04:42Z)
• RenDetNet: Weakly-supervised Shadow Detection with Shadow Caster Verification [15.68136544586505]
  既存の影検出モデルは、暗い画像領域と影を区別するのに苦労する。 本稿では,検出されたすべての影が本物であることを検証することによって,この問題に対処する。 このステップは、シーンの異なる再レンダリングと、推定シャドウキャスターの彫刻から生じる変化を観察することにより、物理的に正確な方法で実施する。 このアプローチにより、RenDetNetは、自己教師型で監視信号を計算可能な、学習に基づく最初のシャドウ検出モデルである。
  論文  参考訳（メタデータ） (2024-08-30T09:34:36Z)
• SwinShadow: Shifted Window for Ambiguous Adjacent Shadow Detection [90.4751446041017]
  スウィンシャドウ(SwinShadow)は、隣接する影を検出するための強力なシフトウインドウ機構をフル活用したトランスフォーマーベースのアーキテクチャである。 プロセス全体は、エンコーダ、デコーダ、機能統合の3つの部分に分けられる。 SBU, UCF, ISTDの3つのシャドウ検出ベンチマークデータセットの実験により, ネットワークがバランスエラー率(BER)の点で優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-08-07T03:16:33Z)
• Detect Any Shadow: Segment Anything for Video Shadow Detection [105.19693622157462]
  影を検出するためのセグメンテーションモデル(SAM)を微調整するフレームワークであるShadowSAMを提案する。 長時間の注意機構と組み合わせることで、効率的な映像陰影検出が可能となる。 提案手法は,従来のビデオシャドウ検出手法と比較して高速な推論速度を示す。
  論文  参考訳（メタデータ） (2023-05-26T07:39:10Z)
• SCOTCH and SODA: A Transformer Video Shadow Detection Framework [12.42397422225366]
  フレーム間の大きな影の変形のため、ビデオ内の影を検出するのは難しい。 本稿では,新しいタイプのビデオ自己注意モジュールであるSODA(Shadow deformation attention trajectory)を紹介する。 また、ネットワークを誘導し、統一された影表現を学習することを目的とした新しいシャドーコントラスト学習機構(SCOTCH)を提案する。
  論文  参考訳（メタデータ） (2022-11-13T12:23:07Z)
• Controllable Shadow Generation Using Pixel Height Maps [58.59256060452418]
  物理ベースのシャドウレンダリング法は3次元のジオメトリーを必要とするが、必ずしも利用できない。 深層学習に基づく影合成法は、光情報から物体の影へのマッピングを、影の幾何学を明示的にモデル化することなく学習する。 オブジェクト,グラウンド,カメラのポーズ間の相関を符号化する新しい幾何学的表現であるピクセルハイを導入する。
  論文  参考訳（メタデータ） (2022-07-12T08:29:51Z)
• R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
  現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。 本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。 提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
  論文  参考訳（メタデータ） (2021-09-20T15:09:22Z)
• Temporal Feature Warping for Video Shadow Detection [30.82493923485278]
  本稿では,情報収集を時間的に改善する簡易かつ強力な手法を提案する。 我々は、光フローベースのワープモジュールを使用して、フレーム間の特徴を調整し、組み合わせます。 このワープモジュールを複数のディープ・ネットワーク・レイヤにまたがって適用し、局所的な詳細情報と高レベルのセマンティック情報を含む近隣のフレームから情報を取得する。
  論文  参考訳（メタデータ） (2021-07-29T19:12:50Z)
• Triple-cooperative Video Shadow Detection [43.030759888063194]
  60のオブジェクトカテゴリ、さまざまな長さ、異なるモーション/照明条件をカバーする、11,685フレームの120のビデオを含む新しいビデオシャドウ検出データセットを収集します。 また、新しいベースラインモデルであるトリプル協調ビデオシャドウ検出ネットワーク(TVSD-Net)も開発している。 ネットワーク内では、同一ビデオ内の隣接するフレームから特徴を制限するためにデュアルゲートコアテンションモジュールが提案され、異なるビデオ間で意味情報をマイニングするために補助的な類似性損失が導入された。
  論文  参考訳（メタデータ） (2021-03-11T08:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。