論文の概要: SCOTCH and SODA: A Transformer Video Shadow Detection Framework

• arxiv url: http://arxiv.org/abs/2211.06885v2
• Date: Mon, 27 Mar 2023 02:58:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 01:48:05.449408
• Title: SCOTCH and SODA: A Transformer Video Shadow Detection Framework
• Title（参考訳）: SCOTCHとSODA:トランスフォーマービデオシャドウ検出フレームワーク
• Authors: Lihao Liu, Jean Prost, Lei Zhu, Nicolas Papadakis, Pietro Li\`o, Carola-Bibiane Sch\"onlieb, Angelica I Aviles-Rivero
• Abstract要約: フレーム間の大きな影の変形のため、ビデオ内の影を検出するのは難しい。 本稿では,新しいタイプのビデオ自己注意モジュールであるSODA(Shadow deformation attention trajectory)を紹介する。 また、ネットワークを誘導し、統一された影表現を学習することを目的とした新しいシャドーコントラスト学習機構(SCOTCH)を提案する。
• 参考スコア（独自算出の注目度）: 12.42397422225366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Shadows in videos are difficult to detect because of the large shadow deformation between frames. In this work, we argue that accounting for shadow deformation is essential when designing a video shadow detection method. To this end, we introduce the shadow deformation attention trajectory (SODA), a new type of video self-attention module, specially designed to handle the large shadow deformations in videos. Moreover, we present a new shadow contrastive learning mechanism (SCOTCH) which aims at guiding the network to learn a unified shadow representation from massive positive shadow pairs across different videos. We demonstrate empirically the effectiveness of our two contributions in an ablation study. Furthermore, we show that SCOTCH and SODA significantly outperforms existing techniques for video shadow detection. Code is available at the project page: https://lihaoliu-cambridge.github.io/scotch_and_soda/
• Abstract（参考訳）: フレーム間の大きな影変形のため、ビデオ内の影を検出するのは難しい。 本研究では,映像シャドウ検出法を設計する際に,シャドウ変形の計算が不可欠であると主張する。 この目的のために,ビデオにおける大きな影変形を処理するために特別に設計された,新しいタイプのビデオ自己注意モジュールであるSODA(Shadow deformation attention trajectory)を導入する。 さらに,異なるビデオ間での巨大な正影対から一元化影表現を学習するためのネットワークの誘導を目的とした,新しいシャドーコントラスト学習機構(SCOTCH)を提案する。 アブレーション研究における2つの貢献の有効性を実証的に示す。 さらに、SCOTCHとSODAは、既存のビデオシャドウ検出技術よりも優れていることを示す。 コードはプロジェクトのページで入手できる。 https://lihaoliu-cambridge.github.io/scotch_and_soda/

関連論文リスト

• RenDetNet: Weakly-supervised Shadow Detection with Shadow Caster Verification [15.68136544586505]
  既存の影検出モデルは、暗い画像領域と影を区別するのに苦労する。 本稿では,検出されたすべての影が本物であることを検証することによって,この問題に対処する。 このステップは、シーンの異なる再レンダリングと、推定シャドウキャスターの彫刻から生じる変化を観察することにより、物理的に正確な方法で実施する。 このアプローチにより、RenDetNetは、自己教師型で監視信号を計算可能な、学習に基づく最初のシャドウ検出モデルである。
  論文  参考訳（メタデータ） (2024-08-30T09:34:36Z)
• Timeline and Boundary Guided Diffusion Network for Video Shadow Detection [22.173407949204137]
  ビデオシャドウ検出(VSD)は、フレームシーケンスでシャドウマスクを検出することを目的としている。 そこで本研究では,VSD のための Timeline and boundary Guided Diffusion (TBGDiff) ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-21T17:16:21Z)
• SwinShadow: Shifted Window for Ambiguous Adjacent Shadow Detection [90.4751446041017]
  スウィンシャドウ(SwinShadow)は、隣接する影を検出するための強力なシフトウインドウ機構をフル活用したトランスフォーマーベースのアーキテクチャである。 プロセス全体は、エンコーダ、デコーダ、機能統合の3つの部分に分けられる。 SBU, UCF, ISTDの3つのシャドウ検出ベンチマークデータセットの実験により, ネットワークがバランスエラー率(BER)の点で優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-08-07T03:16:33Z)
• Detect Any Shadow: Segment Anything for Video Shadow Detection [105.19693622157462]
  影を検出するためのセグメンテーションモデル(SAM)を微調整するフレームワークであるShadowSAMを提案する。 長時間の注意機構と組み合わせることで、効率的な映像陰影検出が可能となる。 提案手法は,従来のビデオシャドウ検出手法と比較して高速な推論速度を示す。
  論文  参考訳（メタデータ） (2023-05-26T07:39:10Z)
• ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document Shadow Removal [53.01990632289937]
  本稿では,文書陰影除去のためのトランスフォーマーモデルを提案する。 シャドウとシャドウフリーの両方の領域で、シャドウコンテキストエンコーディングとデコードを使用する。
  論文  参考訳（メタデータ） (2022-11-30T01:46:29Z)
• Video Instance Shadow Detection Under the Sun and Sky [81.95848151121739]
  ViShadowは、半教師付きビデオインスタンスのシャドウ検出フレームワークである。 クロスフレームペアリングのための対照的な学習を通じて、シャドーとオブジェクトインスタンスを識別する。 一時的な消失を管理するための検索機構が導入された。
  論文  参考訳（メタデータ） (2022-11-23T10:20:19Z)
• DeS3: Adaptive Attention-driven Self and Soft Shadow Removal using ViT Similarity [54.831083157152136]
  本稿では,適応的注意とViT類似性に基づいて,ハード,ソフト,セルフシャドーを除去する手法を提案する。 提案手法はSRD, AISTD, LRSS, USR, UIUCデータセットの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-11-15T12:15:29Z)
• Learning Shadow Correspondence for Video Shadow Detection [42.1593380820498]
  本稿では,ビデオシャドウ検出のためのフレーム間の特定のシャドウ領域の画素単位の類似性を高めるための新しいシャドウ一貫性対応法(SC-Cor)を提案する。 SC-Corは、余分な計算コストなしで既存のシャドウ検出器に簡単に統合できるプラグアンドプレイモジュールである。 実験結果から, SC-CorはIoUでは6.51%, 新たに導入された時間安定度では3.35%, 従来の最先端法よりも優れていた。
  論文  参考訳（メタデータ） (2022-07-30T06:30:42Z)
• R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
  現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。 本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。 提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
  論文  参考訳（メタデータ） (2021-09-20T15:09:22Z)
• Temporal Feature Warping for Video Shadow Detection [30.82493923485278]
  本稿では,情報収集を時間的に改善する簡易かつ強力な手法を提案する。 我々は、光フローベースのワープモジュールを使用して、フレーム間の特徴を調整し、組み合わせます。 このワープモジュールを複数のディープ・ネットワーク・レイヤにまたがって適用し、局所的な詳細情報と高レベルのセマンティック情報を含む近隣のフレームから情報を取得する。
  論文  参考訳（メタデータ） (2021-07-29T19:12:50Z)
• Triple-cooperative Video Shadow Detection [43.030759888063194]
  60のオブジェクトカテゴリ、さまざまな長さ、異なるモーション/照明条件をカバーする、11,685フレームの120のビデオを含む新しいビデオシャドウ検出データセットを収集します。 また、新しいベースラインモデルであるトリプル協調ビデオシャドウ検出ネットワーク(TVSD-Net)も開発している。 ネットワーク内では、同一ビデオ内の隣接するフレームから特徴を制限するためにデュアルゲートコアテンションモジュールが提案され、異なるビデオ間で意味情報をマイニングするために補助的な類似性損失が導入された。
  論文  参考訳（メタデータ） (2021-03-11T08:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。