論文の概要: No Shadow Left Behind: Removing Objects and their Shadows using
Approximate Lighting and Geometry
- arxiv url: http://arxiv.org/abs/2012.10565v1
- Date: Sat, 19 Dec 2020 01:05:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 11:08:37.597631
- Title: No Shadow Left Behind: Removing Objects and their Shadows using
Approximate Lighting and Geometry
- Title(参考訳): 影は残らない:近似照明と幾何学による物体とその影の除去
- Authors: Edward Zhang, Ricardo Martin-Brualla, Janne Kontkanen, Brian Curless
- Abstract要約: 現在の塗り絵ベースのメソッドは、オブジェクト自体を削除し、影を残します。
我々は,キャスターとともに影を取り除くための深層学習パイプラインを導入する。
パイプラインを合成レンダリングデータでトレーニングし、合成シーンと実際のシーンの両方で質的および定量的な結果を示します。
- 参考スコア(独自算出の注目度): 13.308013245268253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Removing objects from images is a challenging problem that is important for
many applications, including mixed reality. For believable results, the shadows
that the object casts should also be removed. Current inpainting-based methods
only remove the object itself, leaving shadows behind, or at best require
specifying shadow regions to inpaint. We introduce a deep learning pipeline for
removing a shadow along with its caster. We leverage rough scene models in
order to remove a wide variety of shadows (hard or soft, dark or subtle, large
or thin) from surfaces with a wide variety of textures. We train our pipeline
on synthetically rendered data, and show qualitative and quantitative results
on both synthetic and real scenes.
- Abstract(参考訳): 画像からオブジェクトを取り除くことは、混合現実を含む多くのアプリケーションにとって重要な課題である。
信頼できる結果を得るためには、オブジェクトがキャストする影も取り除かなければならない。
現在のインペインティングベースのメソッドでは、オブジェクト自体を削除したり、影を置き去りにしたり、少なくとも、インペイントするシャドウ領域を指定する必要がある。
我々は,キャスターとともに影を取り除くための深層学習パイプラインを導入する。
さまざまなテクスチャを持つ表面から、さまざまな影(硬く、柔らかく、暗く、微妙に、大きく、薄い)を除去するために、粗いシーンモデルを活用する。
合成されたデータに基づいてパイプラインをトレーニングし、合成シーンと実シーンの両方で質的で定量的な結果を示す。
関連論文リスト
- Eclipse: Disambiguating Illumination and Materials using Unintended
Shadows [59.77752479405381]
我々は, 意図しない影を利用して, 拡散物体からでも, 正確な物質や照明を回収できることを示す。
本稿では,物体の画像を用いて空間的に変化する物質を共同で回収するモンテカルロ線トレーシング法を提案する。
論文 参考訳(メタデータ) (2023-05-25T17:59:52Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳(メタデータ) (2023-04-06T17:51:54Z) - ShadowFormer: Global Context Helps Image Shadow Removal [41.742799378751364]
シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。
そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。
グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。
本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
論文 参考訳(メタデータ) (2023-02-03T10:54:52Z) - DeS3: Adaptive Attention-driven Self and Soft Shadow Removal using ViT
Similarity [58.82530572481236]
本稿では,適応的注意とViT類似性に基づいて,ハード,ソフト,セルフシャドーを除去する手法を提案する。
提案手法はSRD, AISTD, LRSS, USR, UIUCデータセットの最先端手法より優れている。
論文 参考訳(メタデータ) (2022-11-15T12:15:29Z) - Controllable Shadow Generation Using Pixel Height Maps [58.59256060452418]
物理ベースのシャドウレンダリング法は3次元のジオメトリーを必要とするが、必ずしも利用できない。
深層学習に基づく影合成法は、光情報から物体の影へのマッピングを、影の幾何学を明示的にモデル化することなく学習する。
オブジェクト,グラウンド,カメラのポーズ間の相関を符号化する新しい幾何学的表現であるピクセルハイを導入する。
論文 参考訳(メタデータ) (2022-07-12T08:29:51Z) - Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。
我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。
我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
論文 参考訳(メタデータ) (2022-05-10T14:00:48Z) - Auto-Exposure Fusion for Single-Image Shadow Removal [23.178329688546032]
シャドウ除去は、固有の背景依存性と空間変動特性のために、まだ困難な作業です。
最先端のディープニューラルネットワークでさえ、トレースレスのシャドウ除去された背景をほとんど回復できない。
本論文では, 課題解決のために, 露光融合問題として定式化することで, 新たなソリューションを提案する。
論文 参考訳(メタデータ) (2021-03-01T19:09:26Z) - Learning from Synthetic Shadows for Shadow Detection and Removal [43.53464469097872]
最近のシャドウ除去は、実対のシャドウ/シャドウフリーまたはシャドウ/シャドウ/マスクイメージデータセット上のすべてのトレイン畳み込みニューラルネットワーク(CNN)にアプローチしている。
今回紹介するSynShadowは、新しい大規模合成影/影なし/マット画像トリプレットデータセットと合成パイプラインである。
論文 参考訳(メタデータ) (2021-01-05T18:56:34Z) - Physics-based Shadow Image Decomposition for Shadow Removal [36.41558227710456]
陰影除去のための新しい深層学習法を提案する。
影形成の物理モデルにインスパイアされ、線形照明変換を用いて画像内の影効果をモデル化する。
最も困難なシャドウ除去データセットでフレームワークをトレーニングし、テストします。
論文 参考訳(メタデータ) (2020-12-23T23:06:38Z) - Self-Supervised Shadow Removal [130.6657167667636]
条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。
既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
論文 参考訳(メタデータ) (2020-10-22T11:33:41Z) - From Shadow Segmentation to Shadow Removal [34.762493656937366]
シャドウとシャドウフリーの画像のペアの必要性は、シャドウ除去データセットのサイズと多様性を制限している。
本研究では,影画像から抽出した陰影と非陰影パッチのみを用いて,陰影除去法を提案する。
論文 参考訳(メタデータ) (2020-08-01T14:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。