論文の概要: Learning Physical-Spatio-Temporal Features for Video Shadow Removal
- arxiv url: http://arxiv.org/abs/2303.09370v1
- Date: Thu, 16 Mar 2023 14:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-17 15:14:51.429818
- Title: Learning Physical-Spatio-Temporal Features for Video Shadow Removal
- Title（参考訳）: 映像シャドウ除去のための物理空間的特徴の学習
- Authors: Zhihao Chen, Liang Wan, Yefan Xiao, Lei Zhu, Huazhu Fu
- Abstract要約: データ駆動型ビデオシャドウ除去モデルであるedNetを提案する。
具体的には、複雑な照明テクスチャを持つシーンに適用可能な局所照明推定を行うために、専用の物理的ブランチが設けられた。
シャドウビデオと組み合わせたデータセットの欠如に対処するため、シャドウのスイッチを制御することで、人気のあるゲームGTAVの助けを借りてデータセットを合成する。
- 参考スコア（独自算出の注目度）: 42.95422940263425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Shadow removal in a single image has received increasing attention in recent
years. However, removing shadows over dynamic scenes remains largely
under-explored. In this paper, we propose the first data-driven video shadow
removal model, termed PSTNet, by exploiting three essential characteristics of
video shadows, i.e., physical property, spatio relation, and temporal
coherence. Specifically, a dedicated physical branch was established to conduct
local illumination estimation, which is more applicable for scenes with complex
lighting and textures, and then enhance the physical features via a mask-guided
attention strategy. Then, we develop a progressive aggregation module to
enhance the spatio and temporal characteristics of features maps, and
effectively integrate the three kinds of features. Furthermore, to tackle the
lack of datasets of paired shadow videos, we synthesize a dataset (SVSRD-85)
with aid of the popular game GTAV by controlling the switch of the shadow
renderer. Experiments against 9 state-of-the-art models, including image shadow
removers and image/video restoration methods, show that our method improves the
best SOTA in terms of RMSE error for the shadow area by 14.7. In addition, we
develop a lightweight model adaptation strategy to make our synthetic-driven
model effective in real world scenes. The visual comparison on the public
SBU-TimeLapse dataset verifies the generalization ability of our model in real
scenes.
- Abstract（参考訳）: 近年,1枚の画像における影の除去が注目されている。
しかし、ダイナミックなシーンによるシャドウの除去はほとんど未検討のままである。
本稿では,映像シャドウの物理的特性,空間的関係,時間的コヒーレンスという3つの本質的特徴を生かして,pstnetと呼ばれる最初のデータ駆動映像シャドウ除去モデルを提案する。
具体的には、複雑な照明やテクスチャを持つシーンに適応する局所照明推定を行うために専用の物理ブランチが設けられ、マスクガイドによる注意戦略によって物理的特徴が強化された。
次に,特徴マップの時空間的特徴と時間的特性を増大させ,これら3つの特徴を効果的に統合する漸進的アグリゲーションモジュールを開発した。
さらに、ペア化シャドウビデオのデータセット不足に対処するため、シャドウレンダラーのスイッチを制御することで、人気ゲームGTAVの助けを借りてデータセット(SVSRD-85)を合成する。
画像シャドウ除去器と画像/映像復元法を含む9種類の最先端モデルに対する実験により,影領域のRMSE誤差を14.7倍に改善した。
さらに,実世界において合成駆動モデルを効果的にするための軽量モデル適応戦略を開発した。
公開sbuタイムラプスデータセットの視覚的比較は,実場面におけるモデルの一般化能力を検証する。
関連論文リスト
- ShadowFormer: Global Context Helps Image Shadow Removal [41.742799378751364]
シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。
そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。
グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。
本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
論文 参考訳（メタデータ） (2023-02-03T10:54:52Z) - Structure-Informed Shadow Removal Networks [56.27460995870149]
画像構造レベルでの影を除去する構造インフォームド・シャドー除去ネットワーク(StructNet)を提案する。
具体的には、StructNetはまず、シャドウのない入力画像の構造情報を再構成し、画像レベルのシャドウ除去を導く前に復元されたシャドウフリー構造を使用する。
さらに、StructNetを拡張してマルチレベル構造情報(MStructNet)を活用し、最小計算オーバーヘッドでシャドウ除去性能をさらに向上することを提案する。
論文 参考訳（メタデータ） (2023-01-09T06:31:52Z) - Shadow Removal by High-Quality Shadow Synthesis [70.3837800783288]
HQSSでは、擬似画像を合成するためにシャドウ機能エンコーダとジェネレータを使用している。
HQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットの最先端メソッドよりも優れたパフォーマンスを発揮する。
論文 参考訳（メタデータ） (2022-12-08T06:52:52Z) - CNSNet: A Cleanness-Navigated-Shadow Network for Shadow Removal [4.951051823391577]
シャドウマスクをベースとした,シャドウ指向適応正規化(SOAN)モジュールとトランスフォーマー(SAAT)モジュールを用いたシャドウ対応アグリゲーションを提案する。
シャドウマスクのガイダンスの下で、SOANモジュールは非シャドウ領域の統計を定式化し、それらを領域的な復元のためにシャドウ領域に適応的に適用する。
SAATモジュールは、シャドウフリー領域から高関連性の高い画素を考慮し、シャドウマスクを用いて各シャドウ画素の復元を正確にガイドする。
論文 参考訳（メタデータ） (2022-09-06T01:33:38Z) - Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。
我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。
我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
論文 参考訳（メタデータ） (2022-05-10T14:00:48Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z) - Temporal Feature Warping for Video Shadow Detection [30.82493923485278]
本稿では,情報収集を時間的に改善する簡易かつ強力な手法を提案する。
我々は、光フローベースのワープモジュールを使用して、フレーム間の特徴を調整し、組み合わせます。
このワープモジュールを複数のディープ・ネットワーク・レイヤにまたがって適用し、局所的な詳細情報と高レベルのセマンティック情報を含む近隣のフレームから情報を取得する。
論文 参考訳（メタデータ） (2021-07-29T19:12:50Z) - Learning from Synthetic Shadows for Shadow Detection and Removal [43.53464469097872]
最近のシャドウ除去は、実対のシャドウ/シャドウフリーまたはシャドウ/シャドウ/マスクイメージデータセット上のすべてのトレイン畳み込みニューラルネットワーク(CNN)にアプローチしている。
今回紹介するSynShadowは、新しい大規模合成影/影なし/マット画像トリプレットデータセットと合成パイプラインである。
論文 参考訳（メタデータ） (2021-01-05T18:56:34Z) - Self-Supervised Shadow Removal [130.6657167667636]
条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。
既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
論文 参考訳（メタデータ） (2020-10-22T11:33:41Z) - SSN: Soft Shadow Network for Image Compositing [26.606890595862826]
画像合成のための制御可能なソフトシャドウを生成するためのインタラクティブなソフトシャドウネットワーク(SSN)を導入する。
SSNは2Dオブジェクトマスクを入力として取り、ペインティングやベクトルアートのようなイメージタイプに依存しない。
環境光マップは、角度や柔らかさなどの影の特性を制御するために用いられる。
論文 参考訳（メタデータ） (2020-07-16T09:36:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。