論文の概要: SAMURAI: Shape And Material from Unconstrained Real-world Arbitrary Image collections

• arxiv url: http://arxiv.org/abs/2205.15768v1
• Date: Tue, 31 May 2022 13:16:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 13:58:03.399475
• Title: SAMURAI: Shape And Material from Unconstrained Real-world Arbitrary Image collections
• Title（参考訳）: サムライ:無拘束実世界任意画像コレクションの形状と素材
• Authors: Mark Boss, Andreas Engelhardt, Abhishek Kar, Yuanzhen Li, Deqing Sun, Jonathan T. Barron, Hendrik P. A. Lensch, Varun Jampani
• Abstract要約: 完全に未知のキャプチャ条件下でのオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける根本的な課題である。 形状, BRDF, 画像当たりのカメラのポーズと照明を推定するための共同最適化フレームワークを提案する。 本手法は,オブジェクトのオンライン画像収集に利用し,AR/VRなどのいくつかのユースケースに対して,再生可能な3Dアセットを生成する。
• 参考スコア（独自算出の注目度）: 49.3480550339732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inverse rendering of an object under entirely unknown capture conditions is a fundamental challenge in computer vision and graphics. Neural approaches such as NeRF have achieved photorealistic results on novel view synthesis, but they require known camera poses. Solving this problem with unknown camera poses is highly challenging as it requires joint optimization over shape, radiance, and pose. This problem is exacerbated when the input images are captured in the wild with varying backgrounds and illuminations. Standard pose estimation techniques fail in such image collections in the wild due to very few estimated correspondences across images. Furthermore, NeRF cannot relight a scene under any illumination, as it operates on radiance (the product of reflectance and illumination). We propose a joint optimization framework to estimate the shape, BRDF, and per-image camera pose and illumination. Our method works on in-the-wild online image collections of an object and produces relightable 3D assets for several use-cases such as AR/VR. To our knowledge, our method is the first to tackle this severely unconstrained task with minimal user interaction. Project page: https://markboss.me/publication/2022-samurai/ Video: https://youtu.be/LlYuGDjXp-8
• Abstract（参考訳）: 全く未知のキャプチャ条件下でのオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける根本的な課題である。 NeRFのようなニューラルアプローチは、新しいビュー合成においてフォトリアリスティックな結果を得たが、既知のカメラポーズが必要である。 この問題を未知のカメラのポーズで解くことは、形状、放射率、ポーズに対する共同最適化を必要とするため、非常に難しい。 この問題は、入力画像が背景や照明の異なる野生で撮影されるとさらに悪化する。 標準ポーズ推定手法は、画像間で推定される対応が極めて少ないため、野生のそのような画像コレクションでは失敗する。 さらに、nerfは光度(反射率と照明の積)で操作するため、いかなる照明下でもシーンを照らすことができない。 形状, BRDF, 画像当たりのカメラのポーズと照明を推定するための共同最適化フレームワークを提案する。 提案手法はオブジェクトのオンライン画像収集に利用し,AR/VRなどのいくつかのユースケースに対して,再生可能な3Dアセットを生成する。 私たちの知る限り、ユーザインタラクションを最小限に抑えながら、この厳しい制約のないタスクに最初に取り組みます。 プロジェクトページ: https://markboss.me/publication/2022-samurai/ Video: https://youtu.be/LlYuGDjXp-8

関連論文リスト

• SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild [78.47890911687539]
  制約のない画像コレクションに基づくオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける長年の課題である。 マルチレゾリューションハッシュ符号化に基づく暗黙の形状表現により,高速かつ堅牢な形状復元が可能となることを示す。 本手法はクラス非依存であり,3Dアセットを生成するために,オブジェクトのWildイメージコレクションで動作する。
  論文  参考訳（メタデータ） (2024-01-18T18:01:19Z)
• NoPe-NeRF: Optimising Neural Radiance Field with No Pose Prior [22.579857008706206]
  事前に計算されたカメラポーズを使わずにニューラルレージアンスフィールド(NeRF)を訓練することは困難である。 この方向の最近の進歩は、前向きのシーンでNeRFとカメラのポーズを共同で最適化する可能性を示している。 我々は、歪まない単分子深度を組み込むことで、この問題に対処する。 これらの先行は、トレーニング中にスケールとシフトパラメータを補正することで生成され、連続するフレーム間の相対的なポーズを制約することができる。
  論文  参考訳（メタデータ） (2022-12-14T18:16:41Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• Neural-PIL: Neural Pre-Integrated Lighting for Reflectance Decomposition [50.94535765549819]
  シーンをその形状、反射率、照明に分解することは、コンピュータビジョンとグラフィックスの基本的な問題である。 形状, BRDF, 画像ごとの照明を推定できる新しい反射率分解ネットワークを提案する。 我々の分解により、BRDFと光の推定がかなり良くなり、より正確なビュー合成とリライトが可能になります。
  論文  参考訳（メタデータ） (2021-10-27T12:17:47Z)
• PhotoApp: Photorealistic Appearance Editing of Head Portraits [97.23638022484153]
  本稿では,ポートレート画像におけるカメラ視点とシーン照明の高品質な直感的編集手法を提案する。 ほとんどの編集アプローチは、光やカメラステージといった設定でキャプチャされたトレーニングデータを使用した教師あり学習に依存している。 StyleGANの潜在空間で学習する監督問題を設計します。 これは、教師付き学習と生成的敵対的モデリングのベストを組み合わせる。
  論文  参考訳（メタデータ） (2021-03-13T08:59:49Z)
• NeRD: Neural Reflectance Decomposition from Image Collections [50.945357655498185]
  NeRDは、神経放射場に物理ベースのレンダリングを導入することで、この分解を実現する方法である。 非ランベルト反射率、複素幾何、未知の照明さえも高品質のモデルに分解できる。
  論文  参考訳（メタデータ） (2020-12-07T18:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。