論文の概要: Under One Sun: Multi-Object Generative Perception of Materials and Illumination
- arxiv url: http://arxiv.org/abs/2603.19226v1
- Date: Thu, 19 Mar 2026 17:59:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:06.333215
- Title: Under One Sun: Multi-Object Generative Perception of Materials and Illumination
- Title(参考訳): 太陽の下で: 物質と照明の多目的認識
- Authors: Nobuo Yoshii, Xinran Nicole Han, Ryo Kawahara, Todd Zickler, Ko Nishino,
- Abstract要約: マルチオブジェクト生成知覚(MultiGP)は, 反射率, テクスチャ, 照明といったすべての放射能成分を1つの画像から表現する逆法である。
この本質的にあいまいな放射計の歪みを解決するための重要なアイデアは、そのテクスチャと反射率が異なるが、同じシーンの物体がすべて同じ照明で照らされているという事実を活用することです。
実験により,MultiGPは複数の物体の外観の相補的空間特性と周波数特性を有効利用し,個々のテクスチャと反射率,および共通照明を回復することを示した。
- 参考スコア(独自算出の注目度): 24.59498855820178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Multi-Object Generative Perception (MultiGP), a generative inverse rendering method for stochastic sampling of all radiometric constituents -- reflectance, texture, and illumination -- underlying object appearance from a single image. Our key idea to solve this inherently ambiguous radiometric disentanglement is to leverage the fact that while their texture and reflectance may differ, objects in the same scene are all lit by the same illumination. MultiGP exploits this consensus to produce samples of reflectance, texture, and illumination from a single image of known shapes based on four key technical contributions: a cascaded end-to-end architecture that combines image-space and angular-space disentanglement; Coordinated Guidance for diffusion convergence to a single consistent illumination estimate; Axial Attention applied to facilitate ``cross-talk'' between objects of different reflectance; and a Texture Extraction ControlNet to preserve high-frequency texture details while ensuring decoupling from estimated lighting. Experimental results demonstrate that MultiGP effectively leverages the complementary spatial and frequency characteristics of multiple object appearances to recover individual texture and reflectance as well as the common illumination.
- Abstract(参考訳): マルチオブジェクト生成知覚(MultiGP)は, 反射率, テクスチャ, 照明といった全放射量成分の確率的サンプリングのための逆レンダリング法である。
この本質的にあいまいな放射計の歪みを解決するための重要なアイデアは、そのテクスチャと反射率が異なるが、同じシーンの物体がすべて同じ照明で照らされているという事実を活用することです。
MultiGPはこのコンセンサスを利用して、画像空間と角空間のアンタングルを結合したケースド・エンド・ツー・エンドアーキテクチャ、単一の一貫した照度推定への収束誘導のためのコーディネートガイダンス、異なる反射率のオブジェクト間での「クロストーク」を促進するために適用された軸アテンション、推定光との疎結合を確保しながら高密度テクスチャを保存するためのテクスチャ抽出制御ネットの4つの主要な技術貢献に基づいて、既知の形状の単一のイメージから、反射率、テクスチャ、照明のサンプルを生成する。
実験により,MultiGPは複数の物体の外観の相補的空間特性と周波数特性を有効利用し,個々のテクスチャと反射率,および共通照明を回復することを示した。
関連論文リスト
- DiffTrans: Differentiable Geometry-Materials Decomposition for Reconstructing Transparent Objects [53.83670041249326]
多視点画像から透明な物体を再構成することは、光伝搬の複雑な性質と不確定な振る舞いのために難しい課題である。
本稿では,透明物体の形状や材料を効率よく分解・再構成できる,DiffTransと呼ばれる透明物体の識別可能なレンダリングフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-28T02:21:31Z) - MaterialRefGS: Reflective Gaussian Splatting with Multi-view Consistent Material Inference [83.38607296779423]
より物理的な環境モデルを用いた多視点一貫した物質推定がガウススプラッティングによる正確な反射の学習の鍵となることを示す。
本手法は照明と幾何学の両方を忠実に復元し,新しいビュー合成における最先端のレンダリング品質を実現する。
論文 参考訳(メタデータ) (2025-10-13T13:29:20Z) - After the Party: Navigating the Mapping From Color to Ambient Lighting [48.01497878412971]
CL3ANは,この種の大規模かつ高解像度なデータセットである。
先導的なアプローチは、照明の不整合、テクスチャリーク、色歪みなどのアーティファクトをしばしば生み出す。
我々は、新しい学習フレームワークを通じて、そのような所望の分解を実現する。
論文 参考訳(メタデータ) (2025-08-04T08:07:03Z) - Neural Multi-View Self-Calibrated Photometric Stereo without Photometric Stereo Cues [8.270913200307197]
多視点画像から幾何、空間的に異なる反射率、照明条件を共同で再構成するニューラル逆レンダリング手法を提案する。
我々は、幾何と反射の両方をニューラル暗黙の場として表現し、シャドー・アウェア・ボリューム・レンダリングを適用した。
提案手法は、形状と照明推定精度において最先端の正規誘導手法より優れる。
論文 参考訳(メタデータ) (2025-07-30T23:56:38Z) - NePF: Neural Photon Field for Single-Stage Inverse Rendering [6.977356702921476]
多視点画像の逆レンダリングに対処するために,新しい単一ステージフレームワークNePF(Neural Photon Field)を提案する。
NePFは、神経暗黙表面の重み関数の背後にある物理的意味を完全に活用することで、この統一を実現する。
我々は本手法を実データと合成データの両方で評価する。
論文 参考訳(メタデータ) (2023-11-20T06:15:46Z) - Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。
副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
論文 参考訳(メタデータ) (2022-12-09T07:33:49Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳(メタデータ) (2021-10-30T01:59:39Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。