論文の概要: NeROIC: Neural Rendering of Objects from Online Image Collections

• arxiv url: http://arxiv.org/abs/2201.02533v1
• Date: Fri, 7 Jan 2022 16:45:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-10 14:45:43.625197
• Title: NeROIC: Neural Rendering of Objects from Online Image Collections
• Title（参考訳）: NeROIC: オンラインイメージコレクションからのオブジェクトのニューラルレンダリング
• Authors: Zhengfei Kuang, Kyle Olszewski, Menglei Chai, Zeng Huang, Panos Achlioptas, Sergey Tulyakov
• Abstract要約: 本稿では,オンライン画像コレクションからオブジェクト表現を取得し,任意のオブジェクトの高品質な形状と材料特性をキャプチャする手法を提案する。 これにより、新規ビュー合成、リライト、調和した背景合成など、さまざまなオブジェクト中心のレンダリングアプリケーションが可能になる。
• 参考スコア（独自算出の注目度）: 42.02832046768925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel method to acquire object representations from online image collections, capturing high-quality geometry and material properties of arbitrary objects from photographs with varying cameras, illumination, and backgrounds. This enables various object-centric rendering applications such as novel-view synthesis, relighting, and harmonized background composition from challenging in-the-wild input. Using a multi-stage approach extending neural radiance fields, we first infer the surface geometry and refine the coarsely estimated initial camera parameters, while leveraging coarse foreground object masks to improve the training efficiency and geometry quality. We also introduce a robust normal estimation technique which eliminates the effect of geometric noise while retaining crucial details. Lastly, we extract surface material properties and ambient illumination, represented in spherical harmonics with extensions that handle transient elements, e.g. sharp shadows. The union of these components results in a highly modular and efficient object acquisition framework. Extensive evaluations and comparisons demonstrate the advantages of our approach in capturing high-quality geometry and appearance properties useful for rendering applications.
• Abstract（参考訳）: 本稿では,オンライン画像コレクションからオブジェクト表現を取得し,様々なカメラ,照明,背景を持つ写真から任意のオブジェクトの高品質な形状と材料特性を抽出する手法を提案する。 これにより、新規ビュー合成、リライト、ハーモナイズド背景合成といった様々なオブジェクト中心のレンダリングアプリケーションを、Wildの入力に挑戦することから実現できる。 ニューラル・ラミアンス・フィールドを拡張する多段階的アプローチを用いて,まず表面形状を推定し,粗いフォアグラウンド・オブジェクト・マスクを活用し,粗い初期カメラパラメータを洗練し,トレーニング効率と形状品質を向上させる。 また,幾何学的ノイズの影響を除去しつつ,重要な詳細を保ちながらロバストな正規推定手法を提案する。 最後に,過渡的元素(シャープシャドウなど)を扱う拡張を持つ球面高調波で表される表面材料特性と周囲照明を抽出した。 これらのコンポーネントの結合は、高度にモジュール化され、効率的なオブジェクト取得フレームワークをもたらす。 広範な評価と比較は,レンダリングに有用な高品質な幾何学的特徴と外観的特性をキャプチャする手法の利点を示す。

関連論文リスト

• Triplet: Triangle Patchlet for Mesh-Based Inverse Rendering and Scene Parameters Approximation [0.0]
  逆レンダリングは、光、幾何学、テクスチャ、材料を含むシーンの物理的特性を導き出そうとする。 メッシュは、多くのシミュレーションパイプラインで採用されている伝統的な表現として、いまだに逆レンダリングのラディアンスフィールドに限られた影響しか示していない。 本稿では,これらのパラメータを包括的に近似するメッシュベースの表現であるTriangle Patchlet (abbr. Triplet) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T09:59:11Z)
• PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
  グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。 PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
  論文  参考訳（メタデータ） (2024-08-13T13:26:24Z)
• Relighting Scenes with Object Insertions in Neural Radiance Fields [24.18050535794117]
  本研究では,物体のNeRFをシーンのNeRFに挿入するための新しいNeRFパイプラインを提案する。 提案手法は,広範囲な実験評価において,現実的な照明効果を実現する。
  論文  参考訳（メタデータ） (2024-06-21T00:58:58Z)
• RMAFF-PSN: A Residual Multi-Scale Attention Feature Fusion Photometric Stereo Network [37.759675702107586]
  複雑な構造空間材料変化領域における2次元画像からの物体の正確な地図の予測は困難である。 画像の解像度の異なるステージとスケールから特徴情報を校正する手法を提案する。 このアプローチは、複雑な領域における物体のテクスチャや幾何学といった、より物理的な情報を保存する。
  論文  参考訳（メタデータ） (2024-04-11T14:05:37Z)
• Curved Diffusion: A Generative Model With Optical Geometry Control [56.24220665691974]
  最終シーンの外観に対する異なる光学系の影響は、しばしば見過ごされる。 本研究では,画像レンダリングに使用される特定のレンズとテキスト画像拡散モデルを密接に統合するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-29T13:06:48Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis [52.546998369121354]
  シングルビューRGB画像からニューラル放射場を再構成する学習フレームワークPVSeRFを提案する。 本稿では,明示的な幾何学的推論を取り入れ,放射場予測のための画素アラインな特徴と組み合わせることを提案する。 このような幾何学的特徴の導入は、外観と幾何学の絡み合いを改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-10T07:39:47Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• PhySG: Inverse Rendering with Spherical Gaussians for Physics-based Material Editing and Relighting [60.75436852495868]
  本稿では、RGB入力画像からジオメトリ、マテリアル、イルミネーションをゼロから再構築する逆レンダリングパイプラインPhySGを紹介します。 我々は合成データと実データの両方を用いて,新しい視点のレンダリングを可能にするだけでなく,物質や照明の物理ベースの外観編集を可能にすることを実証した。
  論文  参考訳（メタデータ） (2021-04-01T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。