論文の概要: Neural Surface Reconstruction from Sparse Views Using Epipolar Geometry
- arxiv url: http://arxiv.org/abs/2406.04301v1
- Date: Thu, 6 Jun 2024 17:47:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 13:30:41.742127
- Title: Neural Surface Reconstruction from Sparse Views Using Epipolar Geometry
- Title（参考訳）: エピポーラ幾何学を用いたスパースビューからのニューラルサーフェス再構成
- Authors: Kaichen Zhou,
- Abstract要約: 再建過程にエピポーラ情報を組み込んだ新しい手法であるEpiSを提案する。
提案手法は,コストボリュームから複数のソースビューから抽出したエピポーラ特徴に粗い情報を集約する。
スパース条件における情報ギャップに対処するため,グローバルおよび局所正規化手法を用いて単眼深度推定から深度情報を統合する。
- 参考スコア（独自算出の注目度）: 4.659427498118277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the challenge of reconstructing surfaces from sparse view inputs, where ambiguity and occlusions due to missing information pose significant hurdles. We present a novel approach, named EpiS, that incorporates Epipolar information into the reconstruction process. Existing methods in sparse-view neural surface learning have mainly focused on mean and variance considerations using cost volumes for feature extraction. In contrast, our method aggregates coarse information from the cost volume into Epipolar features extracted from multiple source views, enabling the generation of fine-grained Signal Distance Function (SDF)-aware features. Additionally, we employ an attention mechanism along the line dimension to facilitate feature fusion based on the SDF feature. Furthermore, to address the information gaps in sparse conditions, we integrate depth information from monocular depth estimation using global and local regularization techniques. The global regularization utilizes a triplet loss function, while the local regularization employs a derivative loss function. Extensive experiments demonstrate that our approach outperforms state-of-the-art methods, especially in cases with sparse and generalizable conditions.
- Abstract（参考訳）: 本稿では,疎視的入力から表面を再構築するという課題に対処し,情報不足による曖昧さと隠蔽が大きなハードルとなる。
再建過程にエピポーラ情報を組み込んだ新しい手法であるEpiSを提案する。
スパースビューニューラルサーフェス学習における既存の手法は主に特徴抽出のためのコストボリュームを用いた平均的および分散的考察に焦点を当てている。
対照的に,本手法では,コストボリュームから複数のソースビューから抽出したエピポーラ特徴に粗い情報を集約し,細粒度信号距離関数(SDF)を認識可能な特徴を生成する。
さらに,SDF特徴量に基づく特徴融合を容易にするために,線次元に沿ってアテンション機構を用いる。
さらに,スパース条件における情報ギャップに対処するため,大域的および局所的正規化手法を用いた単眼深度推定から深度情報を統合する。
大域正規化は三重項損失関数を使い、局所正規化は微分損失関数を用いる。
広汎な実験により,本手法は最先端の手法,特にスパースおよび一般化可能な条件において優れることが示された。
関連論文リスト
- DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。
提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
論文 参考訳（メタデータ） (2024-11-16T03:52:23Z) - Sparse Modelling for Feature Learning in High Dimensional Data [0.0]
本稿では,高次元データセットにおける次元削減と特徴抽出に対する革新的なアプローチを提案する。
提案フレームワークはスパースモデリング技術を包括的パイプラインに統合し,効率的かつ解釈可能な特徴選択を実現する。
我々は、特に木材表面欠陥検出の文脈において、機械学習におけるスパースモデリングの理解と応用を進めることを目的としている。
論文 参考訳（メタデータ） (2024-09-28T14:17:59Z) - Generalizable Non-Line-of-Sight Imaging with Learnable Physical Priors [52.195637608631955]
非視線画像(NLOS)は、その潜在的な応用により注目されている。
既存のNLOS再構成アプローチは、経験的物理的前提に依存して制約される。
本稿では,Learningable Path Compensation(LPC)とAdaptive Phasor Field(APF)の2つの主要な設計を含む,学習に基づく新しいソリューションを提案する。
論文 参考訳（メタデータ） (2024-09-21T04:39:45Z) - FNP: Fourier Neural Processes for Arbitrary-Resolution Data Assimilation [58.149902193341816]
本稿では, テクティット・テキストbfFourier Neural Processs (FNP) を用いて, テクティット・arbitrary- resolution データ同化法を提案する。
固定解像度でトレーニングしたFNPは, 微調整を伴わずに, 分布外分解能と観測情報再構成タスクとの同化を直接処理できる。
論文 参考訳（メタデータ） (2024-06-03T12:24:24Z) - DPMesh: Exploiting Diffusion Prior for Occluded Human Mesh Recovery [71.6345505427213]
DPMeshは、人間のメッシュリカバリを排除した革新的なフレームワークである。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルに埋め込まれた対象構造と空間的関係について、より深い拡散に乗じる。
論文 参考訳（メタデータ） (2024-04-01T18:59:13Z) - Subspace-Guided Feature Reconstruction for Unsupervised Anomaly
Localization [5.085309164633571]
監督されていない異常なローカライゼーションは工業生産において重要な役割を担っている。
最近の手法では、事前訓練されたディープニューラルネットワークを用いて、ターゲットサンプルの特徴マッチングや再構成を行う。
本稿では,アノマライゼーションのための適応的特徴近似を追求する,新しいサブスペース誘導型特徴再構成フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-25T06:58:57Z) - Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual
Recognition [57.08108545219043]
サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。
既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。
本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
論文 参考訳（メタデータ） (2023-05-12T00:13:17Z) - RecFNO: a resolution-invariant flow and heat field reconstruction method
from sparse observations via Fourier neural operator [8.986743262828009]
本稿では,RecFNOという優れた性能とメッシュ転送性を備えたエンド・ツー・エンドの物理場再構成手法を提案する。
提案手法は, スパース観測から無限次元空間における流れと熱場への写像を学習することを目的としている。
流体力学および熱力学に関する実験により,提案手法は既存のPOD法およびCNN法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-02-20T07:20:22Z) - Progressive Spatio-Temporal Bilinear Network with Monte Carlo Dropout
for Landmark-based Facial Expression Recognition with Uncertainty Estimation [93.73198973454944]
提案手法の性能は, 広く使用されている3つのデータセットで評価される。
ビデオベースの最先端の手法に匹敵するが、複雑さははるかに少ない。
論文 参考訳（メタデータ） (2021-06-08T13:40:30Z) - Improving Monocular Depth Estimation by Leveraging Structural Awareness
and Complementary Datasets [21.703238902823937]
視覚特徴の空間的関係を利用するために,空間的注意ブロックを有する構造認識ニューラルネットワークを提案する。
第2に,一様点対に対する大域的局所的相対損失を導入し,予測における空間的制約を増大させる。
第3に、先行手法の障害事例の分析に基づいて、挑戦シーンの新たなHard Case (HC) Depthデータセットを収集します。
論文 参考訳（メタデータ） (2020-07-22T08:21:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。