論文の概要: One Ring to Rule Them All: a simple solution to multi-view 3D-Reconstruction of shapes with unknown BRDF via a small Recurrent ResNet

• arxiv url: http://arxiv.org/abs/2104.05014v1
• Date: Sun, 11 Apr 2021 13:39:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:12:16.036827
• Title: One Ring to Rule Them All: a simple solution to multi-view 3D-Reconstruction of shapes with unknown BRDF via a small Recurrent ResNet
• Title（参考訳）: One Ring to Rule Them All: A simple Solution to multi-view 3D-Reconstruction of shapes with unknown BRDF via a small Recurrent ResNet
• Authors: Ziang Cheng, Hongdong Li, Richard Hartley, Yinqiang Zheng, Imari Sato
• Abstract要約: 本論文では, 表面材料が不明な物体に対して, マルチビュー3D-Reviewの解法を提案する。 オブジェクトは任意に(例えば)持つことができる。 非ランベルティアン)、空間的に変動する(またはどこでも異なる)表面反射率(svBRDF) 提案手法は, 新たな視点合成, リライト, 材料リライト, 形状交換を伴わずに行う。
• 参考スコア（独自算出の注目度）: 96.11203962525443
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper proposes a simple method which solves an open problem of multi-view 3D-Reconstruction for objects with unknown and generic surface materials, imaged by a freely moving camera and a freely moving point light source. The object can have arbitrary (e.g. non-Lambertian), spatially-varying (or everywhere different) surface reflectances (svBRDF). Our solution consists of two smallsized neural networks (dubbed the 'Shape-Net' and 'BRDFNet'), each having about 1,000 neurons, used to parameterize the unknown shape and unknown svBRDF, respectively. Key to our method is a special network design (namely, a ResNet with a global feedback or 'ring' connection), which has a provable guarantee for finding a valid diffeomorphic shape parameterization. Despite the underlying problem is highly non-convex hence impractical to solve by traditional optimization techniques, our method converges reliably to high quality solutions, even without initialization. Extensive experiments demonstrate the superiority of our method, and it naturally enables a wide range of special-effect applications including novel-view-synthesis, relighting, material retouching, and shape exchange without additional coding effort. We encourage the reader to view our demo video for better visualizations.
• Abstract（参考訳）: 本稿では,自由移動カメラと自由移動点光源により撮像された未知および汎用表面材料を有する物体の多視点3次元再構成のオープン問題を解決する簡易な方法を提案する。 オブジェクトは任意の(例えば)を持つことができる。 非ランベルト的、空間的に変動する(あるいは至るところで異なる)表面反射率(svbrdf)。 本ソリューションは,約1,000個のニューロンを持つ2つの小型ニューラルネットワーク(「Shape-Net」と「BRDFNet」)で,それぞれ未知の形状と未知のsvBRDFをパラメータ化する。 提案手法の鍵は,特別なネットワーク設計(すなわち,グローバルフィードバックやリング接続を持つresnet)であり,有効な2相形状パラメータ化を求めるための証明可能な保証を有する。 従来の最適化手法では,根本問題は非常に非凸であるにもかかわらず,本手法は初期化なしでも高品質な解に確実に収束する。 広範な実験によって本手法の優位性が示され, 新たな視点合成, ライトニング, 素材のリタッチ, 形状の交換など, 様々な特殊効果応用が可能となった。 読者には、デモビデオをもっとよく見るように勧めます。

関連論文リスト

• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
  マルチビューRGB画像から新しい3次元顔再構成法を提案する。 従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。 いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-12-05T07:02:53Z)
• Point-Based Neural Rendering with Per-View Optimization [5.306819482496464]
  入力ビューの空間におけるシーン特性のさらなる最適化を実現するため,MVSを用いた一般的な手法を提案する。 このアプローチの重要な要素は、新しい差別化可能なポイントベースパイプラインです。 私たちはこれらの要素をニューラルネットワークで組み合わせることで、テストしたほぼすべてのシーンにおいて、品質とスピードの両方で従来の方法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-06T11:19:31Z)
• Multi-view 3D Reconstruction of a Texture-less Smooth Surface of Unknown Generic Reflectance [86.05191217004415]
  表面反射率の不明なテクスチャレス物体の多視点再構成は難しい課題である。 本稿では,コライトスキャナーをベースとした,この問題に対するシンプルで堅牢な解法を提案する。
  論文  参考訳（メタデータ） (2021-05-25T01:28:54Z)
• Recurrent Multi-view Alignment Network for Unsupervised Surface Registration [79.72086524370819]
  非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。 我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。 また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
  論文  参考訳（メタデータ） (2020-11-24T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。