論文の概要: Intrinsic Image Decomposition via Ordinal Shading

• arxiv url: http://arxiv.org/abs/2311.12792v1
• Date: Tue, 21 Nov 2023 18:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 23:27:45.461205
• Title: Intrinsic Image Decomposition via Ordinal Shading
• Title（参考訳）: 直交シェーディングによる固有画像分解
• Authors: Chris Careaga and Ya\u{g}{\i}z Aksoy
• Abstract要約: 内在的分解は、逆レンダリングや計算写真パイプラインにおいて重要な役割を果たす基本的な中間レベルの視覚問題である。 シフト・スケール不変の損失を用いた高密度オーディナルシェーディング定式化を行い、オーディナルシェーディングキューを推定する。 次に、第2のネットワークを用いた低分解能および高分解能の順序推定を組み合わせ、大域的コヒーレンシーと局所的詳細の両方でシェーディング推定を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Intrinsic decomposition is a fundamental mid-level vision problem that plays a crucial role in various inverse rendering and computational photography pipelines. Generating highly accurate intrinsic decompositions is an inherently under-constrained task that requires precisely estimating continuous-valued shading and albedo. In this work, we achieve high-resolution intrinsic decomposition by breaking the problem into two parts. First, we present a dense ordinal shading formulation using a shift- and scale-invariant loss in order to estimate ordinal shading cues without restricting the predictions to obey the intrinsic model. We then combine low- and high-resolution ordinal estimations using a second network to generate a shading estimate with both global coherency and local details. We encourage the model to learn an accurate decomposition by computing losses on the estimated shading as well as the albedo implied by the intrinsic model. We develop a straightforward method for generating dense pseudo ground truth using our model's predictions and multi-illumination data, enabling generalization to in-the-wild imagery. We present an exhaustive qualitative and quantitative analysis of our predicted intrinsic components against state-of-the-art methods. Finally, we demonstrate the real-world applicability of our estimations by performing otherwise difficult editing tasks such as recoloring and relighting.
• Abstract（参考訳）: 内在分解は、様々な逆レンダリングと計算写真パイプラインにおいて重要な役割を果たす基本的な中レベルのビジョン問題である。 高度に正確な内在的分解を生成することは、本質的に非拘束な作業であり、連続的に評価されたシェーディングとアルベドを正確に推定する必要がある。 本研究では,問題を2分割して高分解能な内在分解を実現する。 まず,本モデルに従うように予測を制限せずに順序的シェーディング手がかりを推定するために,シフトおよびスケール不変損失を用いた密順序シェーディングの定式化を提案する。 次に、第2のネットワークを用いた低分解能および高分解能の順序推定を組み合わせ、大域的コヒーレンシーと局所的詳細の両方でシェーディング推定を生成する。 我々は,本モデルが示唆するアルベドと同様に,推定シェーディングの損失を計算することで,正確な分解を学習することを奨励する。 我々は,我々のモデルによる予測とマルチイルミネーションデータを用いて,高密度な擬似地上真実を生成する方法を開発した。 そこで本研究では,予測固有成分の定性的,定量的な分析を行った。 最後に,リカラー化やリライト化といった難しい編集作業を行うことで,実際の評価の適用性を実証する。

関連論文リスト

• Iteratively Refined Image Reconstruction with Learned Attentive Regularizers [14.93489065234423]
  本稿では,ディープラーニングの力を活用した画像再構成のための正規化手法を提案する。 これは一連の凸問題の最小化に対応するためである。 解釈可能性、理論的保証、信頼性、パフォーマンスの両立を約束するバランスを提供します。
  論文  参考訳（メタデータ） (2024-07-09T07:22:48Z)
• Exploiting Diffusion Prior for Generalizable Dense Prediction [85.4563592053464]
  近年のテキスト・トゥ・イメージ(T2I)拡散モデルでは、既成の高密度予測器では予測できないことがある。 我々は,事前学習したT2Iモデルを用いたパイプラインDMPを,高密度予測タスクの先駆けとして導入する。 限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:44Z)
• The Perception-Robustness Tradeoff in Deterministic Image Restoration [34.50287066865267]
  本研究では,画像の逆問題に対する決定論的手法の挙動について検討する。 完全品質と完全整合性にアプローチするには、モデルのリプシッツ定数は無限大に成長しなければならない。 我々は単一画像の超解像アルゴリズムについて,ノイズと雑音の両方に対処する理論を実証する。
  論文  参考訳（メタデータ） (2023-11-14T18:30:34Z)
• BID-NeRF: RGB-D image pose estimation with inverted Neural Radiance Fields [0.0]
  Inverted Neural Radiance Fields (iNeRF) アルゴリズムの改良を目標とし、画像ポーズ推定問題をNeRFに基づく反復線形最適化として定義する。 NeRFは、現実世界のシーンやオブジェクトのフォトリアリスティックな新しいビューを合成できる新しい空間表現モデルである。
  論文  参考訳（メタデータ） (2023-10-05T14:27:06Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Invertible Rescaling Network and Its Extensions [118.72015270085535]
  本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。 我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。 そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
  論文  参考訳（メタデータ） (2022-10-09T06:58:58Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust Correspondence Field Estimation and Pose Optimization [46.144194562841435]
  本稿では、オブジェクトポーズ改善のためのリカレントニューラルネットワーク(RNN)に基づくフレームワークを提案する。 この問題は、推定対応フィールドに基づいて非線形最小二乗問題として定式化される。 各イテレーションにおいて、対応フィールド推定とポーズ精錬を代替して行い、正確なオブジェクトポーズを復元する。
  論文  参考訳（メタデータ） (2022-03-24T06:24:55Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)
• Consistency Guided Scene Flow Estimation [159.24395181068218]
  CGSFは立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。 提案モデルでは,課題の画像の相違やシーンフローを確実に予測できることを示す。 最先端技術よりも優れた一般化を実現し、目に見えない領域に迅速かつ堅牢に適応する。
  論文  参考訳（メタデータ） (2020-06-19T17:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。