論文の概要: Physics-based Shading Reconstruction for Intrinsic Image Decomposition

• arxiv url: http://arxiv.org/abs/2009.01540v1
• Date: Thu, 3 Sep 2020 09:30:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 07:44:01.227721
• Title: Physics-based Shading Reconstruction for Intrinsic Image Decomposition
• Title（参考訳）: 固有画像分解のための物理に基づくシェーディング再構成
• Authors: Anil S. Baslamisli and Yang Liu and Sezer Karaoglu and Theo Gevers
• Abstract要約: 物理モデルから導出したアルベドおよびシェーディング勾配記述子を提案する。 学習自由な教師なし方法で対応するRGB画像勾配から直接、初期スパースシェーディングマップを算出する。 フル密度シェーディングマップを再構築する最適化手法を提案する。 我々はシェーディング推定のテクスチャと強度のあいまいさ問題に直接対処する最初の人物である。
• 参考スコア（独自算出の注目度）: 20.44458250060927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the use of photometric invariance and deep learning to compute intrinsic images (albedo and shading). We propose albedo and shading gradient descriptors which are derived from physics-based models. Using the descriptors, albedo transitions are masked out and an initial sparse shading map is calculated directly from the corresponding RGB image gradients in a learning-free unsupervised manner. Then, an optimization method is proposed to reconstruct the full dense shading map. Finally, we integrate the generated shading map into a novel deep learning framework to refine it and also to predict corresponding albedo image to achieve intrinsic image decomposition. By doing so, we are the first to directly address the texture and intensity ambiguity problems of the shading estimations. Large scale experiments show that our approach steered by physics-based invariant descriptors achieve superior results on MIT Intrinsics, NIR-RGB Intrinsics, Multi-Illuminant Intrinsic Images, Spectral Intrinsic Images, As Realistic As Possible, and competitive results on Intrinsic Images in the Wild datasets while achieving state-of-the-art shading estimations.
• Abstract（参考訳）: 内在画像(アルベドとシェーディング)の計算に光度不変性と深層学習を用いることを検討した。 物理モデルから導出したアルベドおよびシェーディング勾配記述子を提案する。 記述子を用いてアルベド遷移をマスクアウトし、学習不要な教師なしの方法で対応するRGB画像勾配から直接初期スパースシェーディングマップを算出する。 そして,全密度シェーディングマップを再構築する最適化手法を提案する。 最後に,生成されたシェーディングマップを新しい深層学習フレームワークに統合して改良し,対応するアルベド画像の予測を行い,本質的な画像分解を実現する。 そうすることで、シェーディング推定のテクスチャと強度の曖昧さの問題に直接対処することができる。 大規模実験により,我々のアプローチは,MIT Intrinsics, NIR-RGB Intrinsics, Multi-Illuminant Intrinsic Images, Spectral Intrinsic Images, As Realistic As Possible, and competitive results on Intrinsic Images in the Wild datasets において,最先端シェーディング推定を達成しながら,優れた結果が得られることが示された。

関連論文リスト

• DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
  我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。 定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T01:58:54Z)
• PIE-Net: Photometric Invariant Edge Guided Network for Intrinsic Image Decomposition [17.008724191799313]
  固有の画像分解は、画像から画像形成成分(反射および陰影)を回収する過程である。 本稿では,固有画像分解のためのエッジ駆動ハイブリッドCNN手法を提案する。
  論文  参考訳（メタデータ） (2022-03-30T20:46:15Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Learning Topology from Synthetic Data for Unsupervised Depth Completion [66.26787962258346]
  画像から高密度深度マップとスパース深度測定を推定する手法を提案する。 我々は,疎点雲と密度の高い自然形状の関係を学習し,その画像を用いて予測深度マップの検証を行う。
  論文  参考訳（メタデータ） (2021-06-06T00:21:12Z)
• An Optical physics inspired CNN approach for intrinsic image decomposition [0.0]
  内在画像分解は、画像の構成成分を生成する開放的な問題である。 画像から導出した物理パラメータを用いてこの分解が可能なニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-05-21T00:54:01Z)
• Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
  微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。 微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。 定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
  論文  参考訳（メタデータ） (2021-04-01T09:29:05Z)
• Towards Geometry Guided Neural Relighting with Flash Photography [26.511476565209026]
  本稿では,深層学習を用いた深度マップを用いた1枚のフラッシュ写真から画像のリライティングを行うフレームワークを提案する。 本研究は,本質的な画像分解と画像リライティングにおける最先端の画像ベースアプローチに対する幾何学的アプローチの利点を実験的に検証する。
  論文  参考訳（メタデータ） (2020-08-12T08:03:28Z)
• Understanding Integrated Gradients with SmoothTaylor for Deep Neural Network Attribution [70.78655569298923]
  ディープニューラルネットワークモデルの属性方法としての統合グラディエントは、シンプルな実装性を提供する。 理解しやすさに影響を及ぼす説明のうるささに悩まされる。 SmoothGrad法は,ノイズ問題を解消し,勾配に基づく帰属法の帰属写像を円滑化するために提案される。
  論文  参考訳（メタデータ） (2020-04-22T10:43:19Z)
• Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
  画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。 画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。 私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
  論文  参考訳（メタデータ） (2020-03-27T21:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。