Fugu-MT 論文翻訳(概要): Improving Neural Surface Reconstruction with Feature Priors from Multi-View Image

論文の概要: Improving Neural Surface Reconstruction with Feature Priors from Multi-View Image

arxiv url: http://arxiv.org/abs/2408.02079v1
Date: Sun, 4 Aug 2024 16:09:46 GMT
ステータス: 処理完了
システム内更新日: 2024-08-06 15:15:41.031782
Title: Improving Neural Surface Reconstruction with Feature Priors from Multi-View Image
Title（参考訳）: 多視点画像からの特徴量によるニューラルサーフェス再構成の改良
Authors: Xinlin Ren, Chenjie Cao, Yanwei Fu, Xiangyang Xue,
Abstract要約: ニューラルサーフェス・コンストラクション(NSR)の最近の進歩は、ボリュームレンダリングと組み合わせることで、マルチビュー・コンストラクションを著しく改善している。本稿では,多種多様な視覚的タスクから価値ある特徴を活用すべく,特徴レベルの一貫した損失について検討する。 DTU と EPFL を用いて解析した結果,画像マッチングと多視点ステレオデータセットによる特徴が,他のプリテキストタスクよりも優れていたことが判明した。
参考スコア（独自算出の注目度）: 87.00660347447494
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent advancements in Neural Surface Reconstruction (NSR) have significantly improved multi-view reconstruction when coupled with volume rendering. However, relying solely on photometric consistency in image space falls short of addressing complexities posed by real-world data, including occlusions and non-Lambertian surfaces. To tackle these challenges, we propose an investigation into feature-level consistent loss, aiming to harness valuable feature priors from diverse pretext visual tasks and overcome current limitations. It is crucial to note the existing gap in determining the most effective pretext visual task for enhancing NSR. In this study, we comprehensively explore multi-view feature priors from seven pretext visual tasks, comprising thirteen methods. Our main goal is to strengthen NSR training by considering a wide range of possibilities. Additionally, we examine the impact of varying feature resolutions and evaluate both pixel-wise and patch-wise consistent losses, providing insights into effective strategies for improving NSR performance. By incorporating pre-trained representations from MVSFormer and QuadTree, our approach can generate variations of MVS-NeuS and Match-NeuS, respectively. Our results, analyzed on DTU and EPFL datasets, reveal that feature priors from image matching and multi-view stereo outperform other pretext tasks. Moreover, we discover that extending patch-wise photometric consistency to the feature level surpasses the performance of pixel-wise approaches. These findings underscore the effectiveness of these techniques in enhancing NSR outcomes.
Abstract（参考訳）: ニューラルサーフェス・コンストラクション(NSR)の最近の進歩は、ボリュームレンダリングと組み合わせることで、マルチビュー・コンストラクションを著しく改善している。しかし、画像空間における光度整合性のみに依存することは、オクルージョンや非ランベルト面を含む実世界のデータによって引き起こされる複雑さに対処できない。これらの課題に対処するために,様々な視覚的タスクから価値ある特徴を活用し,現在の制約を克服することを目的とした,特徴レベルの一貫した損失の調査を提案する。 NSRの強化に最も効果的な視覚的タスクを決定するのに、既存のギャップがあることに注意する必要がある。本研究では,13の手法からなる7つの前文視覚課題から,多視点特徴を包括的に探索する。我々の主な目標は、幅広い可能性を考慮してNSRトレーニングを強化することです。さらに,NSRの性能向上のための効果的な戦略について考察し,画素単位でもパッチ的にも一貫した損失も評価する。 MVSFormer と QuadTree の事前学習表現を組み込むことで,MVS-NeuS と Match-NeuS のバリエーションを生成することができる。 DTUとEPFLのデータセットを用いて分析した結果,画像マッチングやマルチビューステレオによる特徴が,他のプリテキストタスクよりも優れていたことが判明した。さらに,パッチワイド光度一貫性を機能レベルに拡張することで,画素ワイドアプローチの性能を上回ることが判明した。これらの知見は,NSR成績の向上におけるこれらの手法の有効性を裏付けるものである。

関連論文リスト

Where Do We Stand with Implicit Neural Representations? A Technical and Performance Survey [16.89460694470542]
Inlicit Neural Representation (INR) は知識表現のパラダイムとして登場した。 INRは、データを連続的な暗黙の関数としてモデル化するために多層パーセプトロン(MLP)を利用する。この調査では、アクティベーション機能、位置エンコーディング、統合戦略、ネットワーク構造という4つの重要な領域に分類する明確な分類法を紹介した。
論文参考訳（メタデータ） (2024-11-06T06:14:24Z)
Towards Cross-View-Consistent Self-Supervised Surround Depth Estimation [9.569646683579899]
連続画像からの自己監督下周深度推定は経済的な代替手段を提供する。従来のSSSDE法では、画像間で情報を融合する異なるメカニズムが提案されているが、それらのいくつかは、クロスビュー制約を明示的に考慮している。本稿では,SSSDEのクロスビュー一貫性を高めるために,効率的で一貫したポーズ推定設計と2つの損失関数を提案する。
論文参考訳（メタデータ） (2024-07-04T16:29:05Z)
W-Net: A Facial Feature-Guided Face Super-Resolution Network [8.037821981254389]
Face Super-Resolutionは、高解像度 (HR) の顔画像を低解像度 (LR) の顔画像から復元することを目的としている。既存手法は, 再建効率が低く, 事前情報の利用が不十分であるため, 理想的ではない。本稿では,この課題に対処するため,W-Netと呼ばれる新しいネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-06-02T09:05:40Z)
Rank-Enhanced Low-Dimensional Convolution Set for Hyperspectral Image Denoising [50.039949798156826]
本稿では,ハイパースペクトル(HS)画像の難解化問題に対処する。ランク付き低次元畳み込み集合(Re-ConvSet)を提案する。次に、Re-ConvSetを広く使われているU-Netアーキテクチャに組み込んで、HS画像復号法を構築する。
論文参考訳（メタデータ） (2022-07-09T13:35:12Z)
Hierarchical Similarity Learning for Aliasing Suppression Image Super-Resolution [64.15915577164894]
エイリアスの影響を抑制するために階層画像超解像ネットワーク(HSRNet)を提案する。 HSRNetは、他の作品よりも定量的かつ視覚的なパフォーマンスを向上し、エイリアスをより効果的に再送信する。
論文参考訳（メタデータ） (2022-06-07T14:55:32Z)
Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
論文参考訳（メタデータ） (2022-04-19T17:59:45Z)
Hierarchical Deep CNN Feature Set-Based Representation Learning for Robust Cross-Resolution Face Recognition [59.29808528182607]
クロスリゾリューション顔認識(CRFR)は、インテリジェントな監視およびバイオメトリックフォレンジックにおいて重要である。既存の浅層学習と深層学習に基づく手法は、HR-LR対を共同特徴空間にマッピングすることに焦点を当てている。本研究では,多レベル深層畳み込みニューラルネットワーク(CNN)の機能を完全に活用し,堅牢なCRFRを実現することを目的とする。
論文参考訳（メタデータ） (2021-03-25T14:03:42Z)
Feature-Driven Super-Resolution for Object Detection [13.748941620767452]
本稿では,低解像度(LR)画像の検出性能を向上させるために,シンプルだが強力な機能駆動型超解像(FDSR)を提案する。 FDSRは、MS COCOバリデーション、VOC2007データベースにおける検出性能mAPより優れ、他の検出ネットワークによく一般化されている。
論文参考訳（メタデータ） (2020-04-01T16:33:07Z)
Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。