論文の概要: VET: Visual Error Tomography for Point Cloud Completion and High-Quality Neural Rendering

• arxiv url: http://arxiv.org/abs/2311.04634v1
• Date: Wed, 8 Nov 2023 12:23:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 16:02:00.984468
• Title: VET: Visual Error Tomography for Point Cloud Completion and High-Quality Neural Rendering
• Title（参考訳）: VET:ポイントクラウド補完と高品質ニューラルレンダリングのためのビジュアルエラートモグラフィ
• Authors: Linus Franke, Darius R\"uckert, Laura Fink, Matthias Innmann, Marc Stamminger
• Abstract要約: 本稿では,新しいビュー合成における欠陥の検出と修正のためのニューラルレンダリングに基づく新しいアプローチを提案する。 提案手法は, 動きから得られる点雲の品質を向上させることができることを示す。 点成長技術とは対照的に、この手法は大規模な穴を効果的に修復し、薄い構造を欠くことができる。
• 参考スコア（独自算出の注目度）: 4.542331789204584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the last few years, deep neural networks opened the doors for big advances in novel view synthesis. Many of these approaches are based on a (coarse) proxy geometry obtained by structure from motion algorithms. Small deficiencies in this proxy can be fixed by neural rendering, but larger holes or missing parts, as they commonly appear for thin structures or for glossy regions, still lead to distracting artifacts and temporal instability. In this paper, we present a novel neural-rendering-based approach to detect and fix such deficiencies. As a proxy, we use a point cloud, which allows us to easily remove outlier geometry and to fill in missing geometry without complicated topological operations. Keys to our approach are (i) a differentiable, blending point-based renderer that can blend out redundant points, as well as (ii) the concept of Visual Error Tomography (VET), which allows us to lift 2D error maps to identify 3D-regions lacking geometry and to spawn novel points accordingly. Furthermore, (iii) by adding points as nested environment maps, our approach allows us to generate high-quality renderings of the surroundings in the same pipeline. In our results, we show that our approach can improve the quality of a point cloud obtained by structure from motion and thus increase novel view synthesis quality significantly. In contrast to point growing techniques, the approach can also fix large-scale holes and missing thin structures effectively. Rendering quality outperforms state-of-the-art methods and temporal stability is significantly improved, while rendering is possible at real-time frame rates.
• Abstract（参考訳）: ここ数年、ディープニューラルネットワークは、新しい視点合成における大きな進歩の扉を開いた。 これらのアプローチの多くは、運動アルゴリズムの構造から得られる(粗い)プロキシ幾何に基づいている。 このプロキシの小さな欠陥は、ニューラルレンダリングによって修正できるが、細い構造や光沢のある領域によく見られる大きな穴や欠落部分により、それでも人工物や時間的不安定さを損なう。 本稿では,そのような欠陥を検知し,修正するためのニューラルレンダリングに基づく新しいアプローチを提案する。 プロキシとして、ポイントクラウドを使用し、複雑なトポロジ操作をすることなく、容易にアウトリー幾何を除去し、欠落した幾何を埋めることができる。 我々のアプローチの鍵は (i)冗長な点をブレンドできる、微分可能でブレンドされた点ベースのレンダラ (II)ビジュアルエラートモグラフィ(VET)の概念により、2次元誤差マップを持ち上げて幾何学に欠ける3次元領域を識別し、それに応じて新しい点を生成することができる。 さらに (iii)ネスト環境マップとしてポイントを追加することにより,同じパイプライン内で環境の高品質なレンダリングを生成できる。 その結果,本手法は,動きから構造によって得られる点雲の品質を向上し,新たな視点合成の質を著しく向上できることがわかった。 ポイント成長技術とは対照的に、このアプローチは大規模な穴や薄い構造を効果的に修正することもできます。 レンダリング品質は最先端の手法より優れ、時間的安定性は大幅に向上し、レンダリングはリアルタイムフレームレートで可能である。

関連論文リスト

• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• NeuManifold: Neural Watertight Manifold Reconstruction with Efficient and High-Quality Rendering Support [45.68296352822415]
  マルチビュー入力画像から高品質な水密多様体メッシュを生成する手法を提案する。 提案手法は両世界の利点を組み合わせ, ニューラルネットワークから得られる幾何学と, よりコンパクトな神経テクスチャ表現を最適化する。
  論文  参考訳（メタデータ） (2023-05-26T17:59:21Z)
• StarNet: Style-Aware 3D Point Cloud Generation [82.30389817015877]
  StarNetは、マッピングネットワークを使用して高忠実度および3Dポイントクラウドを再構築し、生成することができる。 我々のフレームワークは、クラウドの再構築と生成タスクにおいて、様々なメトリクスで同等の最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2023-03-28T08:21:44Z)
• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement [78.48648360358193]
  画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。 我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。 ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
  論文  参考訳（メタデータ） (2023-03-03T17:14:44Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)
• PointAttN: You Only Need Attention for Point Cloud Completion [89.88766317412052]
  ポイント・クラウド・コンプリート(Point cloud completion)とは、部分的な3次元ポイント・クラウドから3次元の形状を完成させることである。 そこで我々は,kNNを除去するために,ポイントクラウドをポイント単位に処理する新しいニューラルネットワークを提案する。 提案するフレームワークであるPointAttNはシンプルで簡潔で効果的であり、3次元形状の構造情報を正確に捉えることができる。
  論文  参考訳（メタデータ） (2022-03-16T09:20:01Z)
• Improving neural implicit surfaces geometry with patch warping [12.106051690920266]
  これはニューラルネットワークによる高周波テクスチャの学習と描画が難しいことによるものだ、と私たちは主張する。 我々は、異なる視点で直接光一貫性項を標準のニューラルレンダリング最適化に追加することを提案する。 我々は、標準的なDTUおよびEPFLベンチマークでNeuralWarpと呼ばれるアプローチを評価し、両方のデータセットにおいて、教師なしの暗黙的表面再構成の状態を20%以上向上させることを示す。
  論文  参考訳（メタデータ） (2021-12-17T17:43:50Z)
• Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
  学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。 ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。 Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
  論文  参考訳（メタデータ） (2020-11-03T02:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。