論文の概要: ORCa: Glossy Objects as Radiance Field Cameras
- arxiv url: http://arxiv.org/abs/2212.04531v2
- Date: Mon, 12 Dec 2022 14:51:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 12:40:32.630722
- Title: ORCa: Glossy Objects as Radiance Field Cameras
- Title（参考訳）: ORCa:放射界カメラとしての光沢のある物体
- Authors: Kushagra Tiwary, Akshat Dave, Nikhil Behari, Tzofi Klinghoffer, Ashok
Veeraraghavan, Ramesh Raskar
- Abstract要約: 我々は、未知の幾何学を持つ光沢のある物体を放射場カメラに変換し、物体の視点から世界像を撮影する。
本研究では,環境放射界の復元により,被写体から周囲への深度と放射率の推定が可能となることを示す。
本手法は物体の多視点画像に基づいてエンドツーエンドに学習し, 物体形状, 拡散放射率, および5次元環境放射率場を共同で推定する。
- 参考スコア（独自算出の注目度）: 23.75324754684283
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reflections on glossy objects contain valuable and hidden information about
the surrounding environment. By converting these objects into cameras, we can
unlock exciting applications, including imaging beyond the camera's
field-of-view and from seemingly impossible vantage points, e.g. from
reflections on the human eye. However, this task is challenging because
reflections depend jointly on object geometry, material properties, the 3D
environment, and the observer viewing direction. Our approach converts glossy
objects with unknown geometry into radiance-field cameras to image the world
from the object's perspective. Our key insight is to convert the object surface
into a virtual sensor that captures cast reflections as a 2D projection of the
5D environment radiance field visible to the object. We show that recovering
the environment radiance fields enables depth and radiance estimation from the
object to its surroundings in addition to beyond field-of-view novel-view
synthesis, i.e. rendering of novel views that are only directly-visible to the
glossy object present in the scene, but not the observer. Moreover, using the
radiance field we can image around occluders caused by close-by objects in the
scene. Our method is trained end-to-end on multi-view images of the object and
jointly estimates object geometry, diffuse radiance, and the 5D environment
radiance field.
- Abstract（参考訳）: 光沢のある物体の反射は、周囲の環境に関する貴重な情報と隠れた情報を含んでいる。
これらの物体をカメラに変換することで、カメラの視野外の画像化や、人間の目に映る反射のような一見不可能な視界から、エキサイティングな応用を解き放つことができる。
しかし, 反射は物体形状, 材料特性, 3次元環境, 観測者の観察方向などと密接に依存するため, この課題は困難である。
本手法は,未知の幾何学を持つ光沢のある物体を放射場カメラに変換し,物体の視点から世界を撮影する。
私たちの重要な洞察は、オブジェクトの表面を、オブジェクトが見える5d環境放射フィールドの2d投影としてキャストされた反射をキャプチャする仮想センサーに変換することです。
本研究では, 環境放射界の復元により, 被写体から周囲への深度と放射率の推定が可能であり, また, 現場に存在する光沢のある物体にのみ直接視認できる新規なビューのレンダリングも可能であり, 観察者ではないことを示す。
さらに、放射場を用いて、シーン内の近接物体によって引き起こされる閉塞体の周囲を画像化することができる。
本手法はオブジェクトの多視点画像に基づいてエンドツーエンドに学習し,オブジェクト形状,拡散放射率,および5次元環境放射率場を共同で推定する。
関連論文リスト
- Unsupervised Discovery of Object-Centric Neural Fields [21.223170092979498]
1つの画像から3次元オブジェクト中心のシーン表現を推定する。
我々は、対象中心神経場(uOCF)の教師なし発見を提案する。
論文 参考訳（メタデータ） (2024-02-12T02:16:59Z) - Virtual Mirrors: Non-Line-of-Sight Imaging Beyond the Third Bounce [11.767522056116842]
非視線撮像法(NLOS)は、間接照明を用いて観察者が見えない複雑なシーンを再構成することができる。
我々は、平面拡散面が、計算波ベースのNLOSイメージング領域で用いられる波長で特異に振る舞うことを重要視する。
我々はこの観測を利用して、第3バウンスを超えて照明を用いたNLOSイメージングの能力を拡大する。
論文 参考訳（メタデータ） (2023-07-26T17:59:20Z) - NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from
Multiview Images [44.1333444097976]
未知の環境で撮影された多視点画像から反射物体の形状とBRDFを再構成するニューラルネットワークNeROを提案する。
論文 参考訳（メタデータ） (2023-05-27T07:40:07Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - Shadows Shed Light on 3D Objects [23.14510850163136]
我々は、物体の3次元形状、ポーズ、光源の位置を推測できる微分可能な画像形成モデルを作成する。
我々のアプローチは、地上の暗黒マスクが未知の現実世界の画像に対して堅牢である。
論文 参考訳（メタデータ） (2022-06-17T19:58:11Z) - Unsupervised Discovery and Composition of Object Light Fields [57.198174741004095]
オブジェクト中心の合成シーン表現において、オブジェクトを光場として表現することを提案する。
オブジェクト中心の光場から大域的な光場を再構成できる新しい光場合成モジュールを提案する。
論文 参考訳（メタデータ） (2022-05-08T17:50:35Z) - NeRFactor: Neural Factorization of Shape and Reflectance Under an
Unknown Illumination [60.89737319987051]
照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。
これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
論文 参考訳（メタデータ） (2021-06-03T16:18:01Z) - Moving SLAM: Fully Unsupervised Deep Learning in Non-Rigid Scenes [85.56602190773684]
従来のカメラ幾何学を用いて異なる視点からソースイメージを再レンダリングするビュー合成という考え方に基づいている。
映像中の合成画像と対応する実画像との誤差を最小化することにより、ポーズや深さを予測するディープネットワークを完全に教師なしで訓練することができる。
論文 参考訳（メタデータ） (2021-05-05T17:08:10Z) - Refractive Light-Field Features for Curved Transparent Objects in
Structure from Motion [10.380414189465345]
曲面透明物体から屈折する光のパターンを検出し,記述する光場のための新しい画像特徴を提案する。
屈折物体を含む難易度の高い場面において, 動作からの構造性能が向上することを示す。
本手法は,ロボットが屈折物体を操作できるようにするための重要なステップである。
論文 参考訳（メタデータ） (2021-03-29T05:55:32Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z) - Single View Metrology in the Wild [94.7005246862618]
本研究では,物体の3次元の高さや地上のカメラの高さで表現されるシーンの絶対的なスケールを再現する,単一ビューメロジに対する新しいアプローチを提案する。
本手法は,被写体の高さなどの3Dエンティティによる未知のカメラとの相互作用から,弱い教師付き制約を抑えるために設計されたディープネットワークによって学習されたデータ駆動の先行情報に依存する。
いくつかのデータセットと仮想オブジェクト挿入を含むアプリケーションに対して、最先端の定性的かつ定量的な結果を示す。
論文 参考訳（メタデータ） (2020-07-18T22:31:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。