論文の概要: Learning Physical-Spatio-Temporal Features for Video Shadow Removal

• arxiv url: http://arxiv.org/abs/2303.09370v1
• Date: Thu, 16 Mar 2023 14:55:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-03-17 15:14:51.429818
• Title: Learning Physical-Spatio-Temporal Features for Video Shadow Removal
• Title（参考訳）: 映像シャドウ除去のための物理空間的特徴の学習
• Authors: Zhihao Chen, Liang Wan, Yefan Xiao, Lei Zhu, Huazhu Fu
• Abstract要約: データ駆動型ビデオシャドウ除去モデルであるedNetを提案する。 具体的には、複雑な照明テクスチャを持つシーンに適用可能な局所照明推定を行うために、専用の物理的ブランチが設けられた。 シャドウビデオと組み合わせたデータセットの欠如に対処するため、シャドウのスイッチを制御することで、人気のあるゲームGTAVの助けを借りてデータセットを合成する。
• 参考スコア（独自算出の注目度）: 42.95422940263425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Shadow removal in a single image has received increasing attention in recent years. However, removing shadows over dynamic scenes remains largely under-explored. In this paper, we propose the first data-driven video shadow removal model, termed PSTNet, by exploiting three essential characteristics of video shadows, i.e., physical property, spatio relation, and temporal coherence. Specifically, a dedicated physical branch was established to conduct local illumination estimation, which is more applicable for scenes with complex lighting and textures, and then enhance the physical features via a mask-guided attention strategy. Then, we develop a progressive aggregation module to enhance the spatio and temporal characteristics of features maps, and effectively integrate the three kinds of features. Furthermore, to tackle the lack of datasets of paired shadow videos, we synthesize a dataset (SVSRD-85) with aid of the popular game GTAV by controlling the switch of the shadow renderer. Experiments against 9 state-of-the-art models, including image shadow removers and image/video restoration methods, show that our method improves the best SOTA in terms of RMSE error for the shadow area by 14.7. In addition, we develop a lightweight model adaptation strategy to make our synthetic-driven model effective in real world scenes. The visual comparison on the public SBU-TimeLapse dataset verifies the generalization ability of our model in real scenes.
• Abstract（参考訳）: 近年,1枚の画像における影の除去が注目されている。 しかし、ダイナミックなシーンによるシャドウの除去はほとんど未検討のままである。 本稿では,映像シャドウの物理的特性,空間的関係,時間的コヒーレンスという3つの本質的特徴を生かして,pstnetと呼ばれる最初のデータ駆動映像シャドウ除去モデルを提案する。 具体的には、複雑な照明やテクスチャを持つシーンに適応する局所照明推定を行うために専用の物理ブランチが設けられ、マスクガイドによる注意戦略によって物理的特徴が強化された。 次に,特徴マップの時空間的特徴と時間的特性を増大させ,これら3つの特徴を効果的に統合する漸進的アグリゲーションモジュールを開発した。 さらに、ペア化シャドウビデオのデータセット不足に対処するため、シャドウレンダラーのスイッチを制御することで、人気ゲームGTAVの助けを借りてデータセット(SVSRD-85)を合成する。 画像シャドウ除去器と画像/映像復元法を含む9種類の最先端モデルに対する実験により,影領域のRMSE誤差を14.7倍に改善した。 さらに,実世界において合成駆動モデルを効果的にするための軽量モデル適応戦略を開発した。 公開sbuタイムラプスデータセットの視覚的比較は,実場面におけるモデルの一般化能力を検証する。

関連論文リスト

• Towards Hard and Soft Shadow Removal via Dual-Branch Separation Network and Vision Transformer [0.0]
  本稿では,ハードとソフトの影を別々に処理するデュアルパスモデルを提案する。 モデルはシャドウタイプを分類し、それらを適切な経路で処理し、シャドウフリーな出力を生成する。 我々のモデルは最先端の手法より優れ、ISTDデータセット上で2.905 RMSE値を達成する。
  論文  参考訳（メタデータ） (2025-01-03T15:29:46Z)
• Controllable Shadow Generation with Single-Step Diffusion Models from Synthetic Data [7.380444448047908]
  本研究では,2次元オブジェクト画像の高速・制御可能・背景自由影生成のための新しい手法を提案する。 我々は3Dレンダリングエンジンを用いて大規模な合成データセットを作成し、制御可能なシャドウ生成のための拡散モデルを訓練する。 修正フローの目的は, リアルタイムアプリケーションを実現する1つのサンプリングステップで, 高品質な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-16T16:55:22Z)
• MetaShadow: Object-Centered Shadow Detection, Removal, and Synthesis [64.00425120075045]
  シャドウは画像編集アプリケーションでは過小評価されるか無視されることが多く、編集結果のリアリズムが制限される。 本稿では,自然画像中の影の検出・除去・制御が可能な3-in-one多元性フレームワークであるMetaShadowを紹介する。
  論文  参考訳（メタデータ） (2024-12-03T18:04:42Z)
• Regional Attention for Shadow Removal [10.575174563308046]
  この作業は軽量で正確なシャドウ除去フレームワークを考案する。 影除去作業の特徴を分析し,新しい地域的注意機構を設計する。 既存の注意に基づくモデルとは異なり、我々の地域的注意戦略は、各影領域が周囲の非影領域とより合理的に相互作用することを可能にする。
  論文  参考訳（メタデータ） (2024-11-21T15:10:44Z)
• RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
  本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
  論文  参考訳（メタデータ） (2024-10-08T17:40:01Z)
• Soft-Hard Attention U-Net Model and Benchmark Dataset for Multiscale Image Shadow Removal [2.999888908665659]
  本研究では,マルチスケールシャドウ除去に着目した,ソフトハード注意U-net(SHAU)という新しいディープラーニングアーキテクチャを提案する。 マルチスケールシャドウ除去データセット(MSRD)と呼ばれる新しい合成データセットを提供し、複数のスケールの複雑なシャドウパターンを含んでいる。 その結果,SHAUは,様々なベンチマークデータセット間で,関連する最先端のシャドウ除去方法に対して有効であることが示された。
  論文  参考訳（メタデータ） (2024-08-07T12:42:06Z)
• Deshadow-Anything: When Segment Anything Model Meets Zero-shot shadow removal [8.555176637147648]
  画像シャドー除去を実現するために,大規模データセットの一般化を考慮したDeshadow-Anythingを開発した。 拡散モデルは画像の端やテクスチャに沿って拡散し、画像の詳細を保存しながら影を取り除くのに役立つ。 シャドウ除去タスクの実験では、これらの手法が画像復元性能を効果的に向上できることが示されている。
  論文  参考訳（メタデータ） (2023-09-21T01:35:13Z)
• SDDNet: Style-guided Dual-layer Disentanglement Network for Shadow Detection [85.16141353762445]
  入力シャドウ画像を背景層と影層の合成として扱い、これらの層を独立にモデル化するためのスタイル誘導デュアル層ディスタングルネットワークを設計する。 提案モデルは背景色による有害な効果を効果的に最小化し,32FPSのリアルタイム推論速度を持つ3つの公開データセットに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-17T12:10:51Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• Structure-Informed Shadow Removal Networks [67.57092870994029]
  既存のディープラーニングベースのシャドウ除去手法は、依然として影の残像を持つ画像を生成する。 本稿では,影残差問題に対処するために,画像構造情報を活用する構造インフォームド・シャドウ除去ネットワーク(StructNet)を提案する。 我々の手法は既存のシャドウ除去方法よりも優れており、StructNetは既存の手法と統合してさらに改善することができる。
  論文  参考訳（メタデータ） (2023-01-09T06:31:52Z)
• Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
  シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。 我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。 我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
  論文  参考訳（メタデータ） (2022-05-10T14:00:48Z)
• SSN: Soft Shadow Network for Image Compositing [26.606890595862826]
  画像合成のための制御可能なソフトシャドウを生成するためのインタラクティブなソフトシャドウネットワーク(SSN)を導入する。 SSNは2Dオブジェクトマスクを入力として取り、ペインティングやベクトルアートのようなイメージタイプに依存しない。 環境光マップは、角度や柔らかさなどの影の特性を制御するために用いられる。
  論文  参考訳（メタデータ） (2020-07-16T09:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。