論文の概要: Learning Physical-Spatio-Temporal Features for Video Shadow Removal

• arxiv url: http://arxiv.org/abs/2303.09370v1
• Date: Thu, 16 Mar 2023 14:55:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 15:14:51.429818
• Title: Learning Physical-Spatio-Temporal Features for Video Shadow Removal
• Title（参考訳）: 映像シャドウ除去のための物理空間的特徴の学習
• Authors: Zhihao Chen, Liang Wan, Yefan Xiao, Lei Zhu, Huazhu Fu
• Abstract要約: データ駆動型ビデオシャドウ除去モデルであるedNetを提案する。 具体的には、複雑な照明テクスチャを持つシーンに適用可能な局所照明推定を行うために、専用の物理的ブランチが設けられた。 シャドウビデオと組み合わせたデータセットの欠如に対処するため、シャドウのスイッチを制御することで、人気のあるゲームGTAVの助けを借りてデータセットを合成する。
• 参考スコア（独自算出の注目度）: 42.95422940263425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Shadow removal in a single image has received increasing attention in recent years. However, removing shadows over dynamic scenes remains largely under-explored. In this paper, we propose the first data-driven video shadow removal model, termed PSTNet, by exploiting three essential characteristics of video shadows, i.e., physical property, spatio relation, and temporal coherence. Specifically, a dedicated physical branch was established to conduct local illumination estimation, which is more applicable for scenes with complex lighting and textures, and then enhance the physical features via a mask-guided attention strategy. Then, we develop a progressive aggregation module to enhance the spatio and temporal characteristics of features maps, and effectively integrate the three kinds of features. Furthermore, to tackle the lack of datasets of paired shadow videos, we synthesize a dataset (SVSRD-85) with aid of the popular game GTAV by controlling the switch of the shadow renderer. Experiments against 9 state-of-the-art models, including image shadow removers and image/video restoration methods, show that our method improves the best SOTA in terms of RMSE error for the shadow area by 14.7. In addition, we develop a lightweight model adaptation strategy to make our synthetic-driven model effective in real world scenes. The visual comparison on the public SBU-TimeLapse dataset verifies the generalization ability of our model in real scenes.
• Abstract（参考訳）: 近年,1枚の画像における影の除去が注目されている。 しかし、ダイナミックなシーンによるシャドウの除去はほとんど未検討のままである。 本稿では,映像シャドウの物理的特性,空間的関係,時間的コヒーレンスという3つの本質的特徴を生かして,pstnetと呼ばれる最初のデータ駆動映像シャドウ除去モデルを提案する。 具体的には、複雑な照明やテクスチャを持つシーンに適応する局所照明推定を行うために専用の物理ブランチが設けられ、マスクガイドによる注意戦略によって物理的特徴が強化された。 次に,特徴マップの時空間的特徴と時間的特性を増大させ,これら3つの特徴を効果的に統合する漸進的アグリゲーションモジュールを開発した。 さらに、ペア化シャドウビデオのデータセット不足に対処するため、シャドウレンダラーのスイッチを制御することで、人気ゲームGTAVの助けを借りてデータセット(SVSRD-85)を合成する。 画像シャドウ除去器と画像/映像復元法を含む9種類の最先端モデルに対する実験により,影領域のRMSE誤差を14.7倍に改善した。 さらに,実世界において合成駆動モデルを効果的にするための軽量モデル適応戦略を開発した。 公開sbuタイムラプスデータセットの視覚的比較は,実場面におけるモデルの一般化能力を検証する。

関連論文リスト

• RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
  本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
  論文  参考訳（メタデータ） (2024-10-08T17:40:01Z)
• Soft-Hard Attention U-Net Model and Benchmark Dataset for Multiscale Image Shadow Removal [2.999888908665659]
  本研究では,マルチスケールシャドウ除去に着目した,ソフトハード注意U-net(SHAU)という新しいディープラーニングアーキテクチャを提案する。 マルチスケールシャドウ除去データセット(MSRD)と呼ばれる新しい合成データセットを提供し、複数のスケールの複雑なシャドウパターンを含んでいる。 その結果,SHAUは,様々なベンチマークデータセット間で,関連する最先端のシャドウ除去方法に対して有効であることが示された。
  論文  参考訳（メタデータ） (2024-08-07T12:42:06Z)
• Deshadow-Anything: When Segment Anything Model Meets Zero-shot shadow removal [8.555176637147648]
  画像シャドー除去を実現するために,大規模データセットの一般化を考慮したDeshadow-Anythingを開発した。 拡散モデルは画像の端やテクスチャに沿って拡散し、画像の詳細を保存しながら影を取り除くのに役立つ。 シャドウ除去タスクの実験では、これらの手法が画像復元性能を効果的に向上できることが示されている。
  論文  参考訳（メタデータ） (2023-09-21T01:35:13Z)
• SDDNet: Style-guided Dual-layer Disentanglement Network for Shadow Detection [85.16141353762445]
  入力シャドウ画像を背景層と影層の合成として扱い、これらの層を独立にモデル化するためのスタイル誘導デュアル層ディスタングルネットワークを設計する。 提案モデルは背景色による有害な効果を効果的に最小化し,32FPSのリアルタイム推論速度を持つ3つの公開データセットに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-17T12:10:51Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• ShadowFormer: Global Context Helps Image Shadow Removal [41.742799378751364]
  シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。 そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。 グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。 本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
  論文  参考訳（メタデータ） (2023-02-03T10:54:52Z)
• Structure-Informed Shadow Removal Networks [67.57092870994029]
  既存のディープラーニングベースのシャドウ除去手法は、依然として影の残像を持つ画像を生成する。 本稿では,影残差問題に対処するために,画像構造情報を活用する構造インフォームド・シャドウ除去ネットワーク(StructNet)を提案する。 我々の手法は既存のシャドウ除去方法よりも優れており、StructNetは既存の手法と統合してさらに改善することができる。
  論文  参考訳（メタデータ） (2023-01-09T06:31:52Z)
• Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
  シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。 我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。 我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
  論文  参考訳（メタデータ） (2022-05-10T14:00:48Z)
• SSN: Soft Shadow Network for Image Compositing [26.606890595862826]
  画像合成のための制御可能なソフトシャドウを生成するためのインタラクティブなソフトシャドウネットワーク(SSN)を導入する。 SSNは2Dオブジェクトマスクを入力として取り、ペインティングやベクトルアートのようなイメージタイプに依存しない。 環境光マップは、角度や柔らかさなどの影の特性を制御するために用いられる。
  論文  参考訳（メタデータ） (2020-07-16T09:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。