論文の概要: Objects With Lighting: A Real-World Dataset for Evaluating Reconstruction and Rendering for Object Relighting
- arxiv url: http://arxiv.org/abs/2401.09126v2
- Date: Sat, 13 Apr 2024 16:43:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 22:38:10.036168
- Title: Objects With Lighting: A Real-World Dataset for Evaluating Reconstruction and Rendering for Object Relighting
- Title（参考訳）: ライティングによるオブジェクト: オブジェクトのリライティングのための再構成とレンダリングを評価する実世界のデータセット
- Authors: Benjamin Ummenhofer, Sanskar Agrawal, Rene Sepulveda, Yixing Lao, Kai Zhang, Tianhang Cheng, Stephan Richter, Shenlong Wang, German Ros,
- Abstract要約: 写真からオブジェクトを再構成し、仮想的に新しい環境に配置することは、標準的な新しいビュー合成タスクを超えます。
この研究は、リライトのためのオブジェクトの再構築とレンダリングを測定するための実世界のデータセットを提供する。
- 参考スコア（独自算出の注目度）: 16.938779241290735
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reconstructing an object from photos and placing it virtually in a new environment goes beyond the standard novel view synthesis task as the appearance of the object has to not only adapt to the novel viewpoint but also to the new lighting conditions and yet evaluations of inverse rendering methods rely on novel view synthesis data or simplistic synthetic datasets for quantitative analysis. This work presents a real-world dataset for measuring the reconstruction and rendering of objects for relighting. To this end, we capture the environment lighting and ground truth images of the same objects in multiple environments allowing to reconstruct the objects from images taken in one environment and quantify the quality of the rendered views for the unseen lighting environments. Further, we introduce a simple baseline composed of off-the-shelf methods and test several state-of-the-art methods on the relighting task and show that novel view synthesis is not a reliable proxy to measure performance. Code and dataset are available at https://github.com/isl-org/objects-with-lighting .
- Abstract（参考訳）: 写真からオブジェクトを再構成し、仮想的に新しい環境に配置することは、新しい視点に適応するだけでなく、新しい照明条件にも適応する必要があるため、標準的なビュー合成タスクを超えて、新しいビュー合成データや簡易な合成データセットに頼って定量的解析を行う。
この研究は、リライトのためのオブジェクトの再構築とレンダリングを測定するための実世界のデータセットを提供する。
この目的のために、同一物体の環境照明と地上の真実像を複数の環境で捉え、一つの環境で撮影された画像からオブジェクトを再構成し、未知の照明環境におけるレンダリングされたビューの質を定量化する。
さらに,本研究では,既成の工法で構成された簡易なベースラインを導入し,照明作業における最新手法の試験を行い,新規なビュー合成が性能測定のための信頼性の高いプロキシではないことを示す。
コードとデータセットはhttps://github.com/isl-org/objects-with-lighting.comで公開されている。
関連論文リスト
- Relighting from a Single Image: Datasets and Deep Intrinsic-based Architecture [0.7499722271664147]
単一画像シーンのリライティングは、入力画像の現実的な新しいバージョンを生成し、新たな目標光条件で照らされるようにすることを目的としている。
そこで本研究では,内在成分の基底的真理を持つ合成データセットと,実験条件下で収集した実データセットの2つの新しいデータセットを提案する。
提案手法は,既存のデータセットと新たに開発したデータセットの両方でテストした結果,最先端の手法よりも性能が優れている。
論文 参考訳（メタデータ） (2024-09-27T14:15:02Z) - Sparse multi-view hand-object reconstruction for unseen environments [31.604141859402187]
我々は、合成手オブジェクトデータセットに基づいてモデルをトレーニングし、実世界記録手オブジェクトデータセットを直接評価する。
目立たない手やオブジェクトをRGBから復元することは難しいが、追加の視点は再建の質を改善するのに役立つ。
論文 参考訳（メタデータ） (2024-05-02T15:01:25Z) - Neural Microfacet Fields for Inverse Rendering [54.15870869037466]
本研究では,シーンの画像から材料,幾何学,環境照明を復元する手法を提案する。
本手法では, 各試料を(潜在的に不透明な)表面として扱うことにより, ボリューム設定内にマイクロファセット反射率モデルを用いる。
論文 参考訳（メタデータ） (2023-03-31T05:38:13Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳（メタデータ） (2022-07-27T16:07:48Z) - Discovering Objects that Can Move [55.743225595012966]
手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。
既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。
私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
論文 参考訳（メタデータ） (2022-03-18T21:13:56Z) - NeROIC: Neural Rendering of Objects from Online Image Collections [42.02832046768925]
本稿では,オンライン画像コレクションからオブジェクト表現を取得し,任意のオブジェクトの高品質な形状と材料特性をキャプチャする手法を提案する。
これにより、新規ビュー合成、リライト、調和した背景合成など、さまざまなオブジェクト中心のレンダリングアプリケーションが可能になる。
論文 参考訳（メタデータ） (2022-01-07T16:45:15Z) - Salient Objects in Clutter [130.63976772770368]
本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。
この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。
我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
論文 参考訳（メタデータ） (2021-05-07T03:49:26Z) - Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。
再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。
本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
論文 参考訳（メタデータ） (2021-03-30T17:57:01Z) - Object-based Illumination Estimation with Rendering-aware Neural
Networks [56.01734918693844]
個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。
推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
論文 参考訳（メタデータ） (2020-08-06T08:23:19Z) - Exploring Image Enhancement for Salient Object Detection in Low Light
Images [27.61080096436953]
低照度画像における有意な物体検出を容易にするための画像強調手法を提案する。
提案モデルでは、物理照明モデルを深部ニューラルネットワークに埋め込んで、低光画像の劣化を記述する。
画素レベルの人間ラベル付き地平線アノテーションを用いた低照度画像データセットを構築し,有望な結果を報告する。
論文 参考訳（メタデータ） (2020-07-31T15:09:03Z) - IllumiNet: Transferring Illumination from Planar Surfaces to Virtual
Objects in Augmented Reality [38.83696624634213]
本稿では,学習による実環境における仮想物体の照明推定手法を提案する。
一つのRGB画像が与えられた場合、シーンの平面面から抽出した照明特徴を所望のジオメトリに転送することで、信頼度の高い仮想オブジェクトを直接推測する。
論文 参考訳（メタデータ） (2020-07-12T13:11:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。