論文の概要: SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild

• arxiv url: http://arxiv.org/abs/2401.10171v1
• Date: Thu, 18 Jan 2024 18:01:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 15:34:26.794997
• Title: SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild
• Title（参考訳）: 篠尾:BRDF最適化によるニューラルネットワークによる形状と照明
• Authors: Andreas Engelhardt, Amit Raj, Mark Boss, Yunzhi Zhang, Abhishek Kar, Yuanzhen Li, Deqing Sun, Ricardo Martin Brualla, Jonathan T. Barron, Hendrik P. A. Lensch, Varun Jampani
• Abstract要約: 制約のない画像コレクションに基づくオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける長年の課題である。 マルチレゾリューションハッシュ符号化に基づく暗黙の形状表現により,高速かつ堅牢な形状復元が可能となることを示す。 本手法はクラス非依存であり,3Dアセットを生成するために,オブジェクトのWildイメージコレクションで動作する。
• 参考スコア（独自算出の注目度）: 78.47890911687539
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present SHINOBI, an end-to-end framework for the reconstruction of shape, material, and illumination from object images captured with varying lighting, pose, and background. Inverse rendering of an object based on unconstrained image collections is a long-standing challenge in computer vision and graphics and requires a joint optimization over shape, radiance, and pose. We show that an implicit shape representation based on a multi-resolution hash encoding enables faster and robust shape reconstruction with joint camera alignment optimization that outperforms prior work. Further, to enable the editing of illumination and object reflectance (i.e. material) we jointly optimize BRDF and illumination together with the object's shape. Our method is class-agnostic and works on in-the-wild image collections of objects to produce relightable 3D assets for several use cases such as AR/VR, movies, games, etc. Project page: https://shinobi.aengelhardt.com Video: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be
• Abstract（参考訳）: 本稿では,照明,ポーズ,背景の異なる物体画像から形状,材質,照明を復元するためのエンドツーエンドの枠組みであるシノビを提案する。 制約のない画像コレクションに基づくオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける長年の課題であり、形状、放射率、ポーズに対する共同最適化が必要である。 本研究では,マルチレゾリューションハッシュ符号化に基づく暗黙的形状表現により,先行作業に匹敵するジョイントカメラアライメント最適化により,高速かつ堅牢な形状再構成が可能となることを示す。 さらに,照明と物体反射率(素材)の編集を可能にするため,brdfと照明と物体の形状を共同で最適化する。 そこで本手法では,AR/VR,映画,ゲームなどいくつかのユースケースを対象とした3Dアセットを作成するために,オブジェクトの中間画像の収集を行う。 プロジェクトページ: https://shinobi.aengelhardt.com Video: https://www.youtube.com/watch? v=iFENQ6AcYd8&feature=youtu.be

関連論文リスト

• RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
  本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
  論文  参考訳（メタデータ） (2024-10-08T17:40:01Z)
• IllumiNeRF: 3D Relighting Without Inverse Rendering [25.642960820693947]
  対象の環境光と推定対象形状を条件とした画像拡散モデルを用いて,各入力画像をリライトする方法を示す。 ニューラル・レージアンス・フィールド (NeRF) をこれらの信頼された画像で再構成し, 対象光の下で新しいビューを描画する。 この戦略は驚くほど競争力があり、複数のリライトベンチマークで最先端の結果が得られることを実証する。
  論文  参考訳（メタデータ） (2024-06-10T17:59:59Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Multi-View Neural Surface Reconstruction with Structured Light [7.709526244898887]
  微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。 DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。 本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
  論文  参考訳（メタデータ） (2022-11-22T03:10:46Z)
• IRISformer: Dense Vision Transformers for Single-Image Inverse Rendering in Indoor Scenes [99.76677232870192]
  我々は、高密度な視覚変換器であるIRISformerが、逆レンダリングに必要なシングルタスクとマルチタスクの推論の両方で優れていることを示す。 具体的には,屋内シーンの単一画像から深度,正規度,空間変化アルベド,粗さ,照明を同時に推定するトランスフォーマーアーキテクチャを提案する。 ベンチマークデータセットを用いた評価では、上記の各タスクについて最先端の結果が示され、オブジェクト挿入や物質編集などの応用を、制約のない1つの実画像で実現する。
  論文  参考訳（メタデータ） (2022-06-16T19:50:55Z)
• NeROIC: Neural Rendering of Objects from Online Image Collections [42.02832046768925]
  本稿では,オンライン画像コレクションからオブジェクト表現を取得し,任意のオブジェクトの高品質な形状と材料特性をキャプチャする手法を提案する。 これにより、新規ビュー合成、リライト、調和した背景合成など、さまざまなオブジェクト中心のレンダリングアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2022-01-07T16:45:15Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving Objects [115.71874459429381]
  本研究では, 物体の3次元形状, テクスチャ, 動きを単一動画像から共同で再構成する新しい課題について述べる。 従来の手法では2次元画像領域でのみ遅延問題に対処するが、3次元領域における全ての物体特性の厳密なモデリングは任意の物体の動きの正確な記述を可能にする。
  論文  参考訳（メタデータ） (2021-06-16T13:18:08Z)
• Shape From Tracing: Towards Reconstructing 3D Object Geometry and SVBRDF Material from Images via Differentiable Path Tracing [16.975014467319443]
  識別可能なパストレースは、複雑な外観効果を再現できるため、魅力的なフレームワークである。 本稿では,初期粗いメッシュとメッシュファセット単位の材料表現を改良するために,微分可能なレイトレーシングを利用する方法を示す。 また、制約のない環境下での現実世界の物体の初期再構成を洗練させる方法についても示す。
  論文  参考訳（メタデータ） (2020-12-06T18:55:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。