論文の概要: Sparse 3D Reconstruction via Object-Centric Ray Sampling

• arxiv url: http://arxiv.org/abs/2309.03008v2
• Date: Thu, 28 Mar 2024 14:16:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 21:53:04.684628
• Title: Sparse 3D Reconstruction via Object-Centric Ray Sampling
• Title（参考訳）: 物体中心光サンプリングによるスパース3次元再構成
• Authors: Llukman Cerkezi, Paolo Favaro,
• Abstract要約: 本研究では,360度カメラリグから取得したスパースビューから3次元オブジェクトを復元する新しい手法を提案する。 我々は、校正ベースニューラル表現とトライアングルメッシュの両方を使用するハイブリッドモデルにより、オブジェクトを表現する。 私たちはGoogleのScanned Objects, Tank and Temples, MVMC Carデータセットのスパースなビューで作業しています。
• 参考スコア（独自算出の注目度）: 20.874406440346462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel method for 3D object reconstruction from a sparse set of views captured from a 360-degree calibrated camera rig. We represent the object surface through a hybrid model that uses both an MLP-based neural representation and a triangle mesh. A key contribution in our work is a novel object-centric sampling scheme of the neural representation, where rays are shared among all views. This efficiently concentrates and reduces the number of samples used to update the neural model at each iteration. This sampling scheme relies on the mesh representation to ensure also that samples are well-distributed along its normals. The rendering is then performed efficiently by a differentiable renderer. We demonstrate that this sampling scheme results in a more effective training of the neural representation, does not require the additional supervision of segmentation masks, yields state of the art 3D reconstructions, and works with sparse views on the Google's Scanned Objects, Tank and Temples and MVMC Car datasets. Code available at: https://github.com/llukmancerkezi/ROSTER
• Abstract（参考訳）: 本研究では,360度キャリブレーションカメラリグから取得したスパースビューから3次元オブジェクトを復元する新しい手法を提案する。 MLPに基づくニューラル表現とトライアングルメッシュの両方を用いたハイブリッドモデルを用いて物体表面を表現する。 私たちの研究における重要な貢献は、すべてのビューで光が共有される、神経表現のオブジェクト中心サンプリングスキームである。 これにより、各イテレーションでニューラルモデルを更新するのに使用されるサンプルの数を効率よく集中し、削減できる。 このサンプリングスキームはメッシュ表現に依存しており、サンプルが正常に沿って適切に分散されていることも保証している。 そして、このレンダリングを微分可能なレンダラーで効率的に行う。 このサンプリング方式により、より効果的な神経表現のトレーニングが実現し、セグメンテーションマスクの監視を必要とせず、最先端の3D再構成を実現し、GoogleのScanned Objects, Tank and TemplesおよびMVMC Carデータセットのスパースなビューで動作することを示す。 https://github.com/llukmancerkezi/ROSTER

関連論文リスト

• N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
  3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。 N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。 本手法は, 視認性, 深度, 外観特性を忠実に近似する。
  論文  参考訳（メタデータ） (2024-05-25T13:54:34Z)
• Gamba: Marry Gaussian Splatting with Mamba for single view 3D reconstruction [153.52406455209538]
  Gambaは、単一のビューイメージからエンドツーエンドの3D再構成モデルである。 1つのNVIDIA A100 GPUで0.05秒以内に再構築が完了する。
  論文  参考訳（メタデータ） (2024-03-27T17:40:14Z)
• Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
  本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T08:45:26Z)
• Multi-View Mesh Reconstruction with Neural Deferred Shading [0.8514420632209809]
  最先端の手法では、ニューラルサーフェス表現とニューラルシェーディングの両方を用いる。 曲面を三角形メッシュとして表現し、三角形の描画とニューラルシェーディングを中心に、微分可能なレンダリングパイプラインを構築します。 パブリックな3次元再構成データセットを用いてランタイムの評価を行い、最適化において従来のベースラインの復元精度を上回りながら、従来のベースラインの再構築精度に適合できることを示す。
  論文  参考訳（メタデータ） (2022-12-08T16:29:46Z)
• AdaNeRF: Adaptive Sampling for Real-time Rendering of Neural Radiance Fields [8.214695794896127]
  新たなビュー合成は、スパース観測から直接神経放射場を学習することで、近年革新されている。 この新たなパラダイムによる画像のレンダリングは、ボリュームレンダリング方程式の正確な4分の1は、各光線に対して大量のサンプルを必要とするため、遅い。 本稿では,必要なサンプル点数を最大限に削減する方法を学習し,方向性を示す新しいデュアルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-07-21T05:59:13Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Neural Volumetric Object Selection [126.04480613166194]
  マルチプレーン画像(MPI)やニューラルレイディアンスフィールド(NeRF)のような,神経体積の3次元表現における物体の選択手法を提案する。 提案手法では,前景と背景の2次元ユーザを1つの視点で記述し,対象物の3次元セグメンテーションを自動的に推定する。
  論文  参考訳（メタデータ） (2022-05-30T08:55:20Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
  オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。 再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。 本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
  論文  参考訳（メタデータ） (2021-03-30T17:57:01Z)
• An Effective Loss Function for Generating 3D Models from Single 2D Image without Rendering [0.0]
  微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。 電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。 再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
  論文  参考訳（メタデータ） (2021-03-05T00:02:18Z)
• Rapid Pose Label Generation through Sparse Representation of Unknown Objects [7.32172860877574]
  本研究は、未知のオブジェクトに対する実世界のポーズアノテートされたRGB-Dデータを高速に生成するためのアプローチを提案する。 我々はまず、RGB-Dビデオのセット上で任意に選択されたキーポイントの順序付きセットの最小限のラベルを出力する。 最適化問題を解くことにより、これらのラベルをワールドフレームの下に組み合わせ、スパースでキーポイントに基づくオブジェクトの表現を復元する。
  論文  参考訳（メタデータ） (2020-11-07T15:14:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。