論文の概要: Learning with Unreliability: Fast Few-shot Voxel Radiance Fields with Relative Geometric Consistency

• arxiv url: http://arxiv.org/abs/2403.17638v1
• Date: Tue, 26 Mar 2024 12:17:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 15:37:32.151916
• Title: Learning with Unreliability: Fast Few-shot Voxel Radiance Fields with Relative Geometric Consistency
• Title（参考訳）: 信頼できない学習:相対的幾何学的整合性を持つ高速フルショットボクセル放射場
• Authors: Yingjie Xu, Bangzhen Liu, Hao Tang, Bailin Deng, Shengfeng He,
• Abstract要約: 本稿では,数発の放射場に対するボクセルに基づく最適化フレームワークReVoRFを提案する。 本手法は, 隣接する地域での相対深度関係が, 隠蔽領域の絶対色値よりも信頼性が高いという知見に基づく。 提案手法は,3FPSのレンダリング速度3分,360円のシーンをトレーニングするための7分,PSNRを既存の数ショット法よりも5%改善するなど,効率と精度を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 36.48738653227518
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose a voxel-based optimization framework, ReVoRF, for few-shot radiance fields that strategically address the unreliability in pseudo novel view synthesis. Our method pivots on the insight that relative depth relationships within neighboring regions are more reliable than the absolute color values in disoccluded areas. Consequently, we devise a bilateral geometric consistency loss that carefully navigates the trade-off between color fidelity and geometric accuracy in the context of depth consistency for uncertain regions. Moreover, we present a reliability-guided learning strategy to discern and utilize the variable quality across synthesized views, complemented by a reliability-aware voxel smoothing algorithm that smoothens the transition between reliable and unreliable data patches. Our approach allows for a more nuanced use of all available data, promoting enhanced learning from regions previously considered unsuitable for high-quality reconstruction. Extensive experiments across diverse datasets reveal that our approach attains significant gains in efficiency and accuracy, delivering rendering speeds of 3 FPS, 7 mins to train a $360^\circ$ scene, and a 5\% improvement in PSNR over existing few-shot methods. Code is available at https://github.com/HKCLynn/ReVoRF.
• Abstract（参考訳）: 疑似新規ビュー合成における不安定性に戦略的に対処する数発のラジアンスフィールドに対して,ボクセルに基づく最適化フレームワークReVoRFを提案する。 本手法は, 隣接する地域での相対深度関係が, 隠蔽領域の絶対色値よりも信頼性が高いという知見に基づく。 その結果,不確定領域の深度整合性の文脈において,色忠実度と幾何精度とのトレードオフを慎重にナビゲートする2次元幾何整合損失を考案した。 さらに,信頼度と信頼できないデータパッチ間の遷移を円滑化する信頼性を考慮したボクセル平滑化アルゴリズムにより,合成されたビュー間の変動品質を識別し,活用するための信頼性誘導学習戦略を提案する。 我々のアプローチは、すべての利用可能なデータをよりきめ細やかな利用を可能にし、以前は高品質な再構築には適さないと考えられていた地域からの学習を促進する。 多様なデータセットにわたる大規模な実験により、我々のアプローチは効率と精度が大幅に向上し、レンダリング速度は3FPS、7分で360^\circ$のシーンをトレーニングでき、PSNRは既存の数ショット法よりも5倍改善されていることが判明した。 コードはhttps://github.com/HKCLynn/ReVoRFで入手できる。

関連論文リスト

• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• Digging into contrastive learning for robust depth estimation with diffusion models [55.62276027922499]
  そこで我々はD4RDと呼ばれる新しい頑健な深度推定法を提案する。 複雑な環境での性能劣化を軽減するために、拡散モデルに適した独自のコントラスト学習モードを備えている。 実験では、D4RDは合成汚職データセットや現実世界の気象条件に関する最先端のソリューションを超越している。
  論文  参考訳（メタデータ） (2024-04-15T14:29:47Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Locate and Verify: A Two-Stream Network for Improved Deepfake Detection [33.50963446256726]
  現在のディープフェイク検出法は一般に一般化が不十分である。 本稿では,モデルがエビデンスを抽出する潜在的領域を効果的に拡大する,革新的な2ストリームネットワークを提案する。 また、パッチレベルの偽位置アノテーションを推定するための半教師付きパッチ類似性学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:25:19Z)
• UncLe-SLAM: Uncertainty Learning for Dense Neural SLAM [60.575435353047304]
  我々は、高密度ニューラルネットワークの同時局所化とマッピング(SLAM)のための不確実性学習フレームワークを提案する。 本稿では,2次元入力データのみから自己教師付きで学習可能なセンサ不確実性推定のためのオンラインフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-19T16:26:25Z)
• Multi-Frequency-Aware Patch Adversarial Learning for Neural Point Cloud Rendering [7.522462414919854]
  ニューラルポイントクラウドレンダリングパイプラインを、新しいマルチ周波数対応パッチ対向学習フレームワークを通じて提示する。 提案手法は,実画像と合成画像のスペクトル差を最小化することにより,レンダリングの精度を向上させることを目的としている。 提案手法は,ニューラルポイントクラウドレンダリングにおける最先端の結果を有意差で生成する。
  論文  参考訳（メタデータ） (2022-10-07T16:54:15Z)
• Deep Probabilistic Feature-metric Tracking [27.137827823264942]
  画素単位の深度特徴写像と深度特徴量不確実性写像を学習するための新しいフレームワークを提案する。 CNNは、より高速で信頼性の高い収束のための深い初期ポーズを予測する。 実験により,TUM RGB-Dデータセットと3次元剛性物体追跡データセットの最先端性能が示された。
  論文  参考訳（メタデータ） (2020-08-31T11:47:59Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。