論文の概要: TriDF: Triplane-Accelerated Density Fields for Few-Shot Remote Sensing Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2503.13347v1
• Date: Mon, 17 Mar 2025 16:25:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:30:01.388110
• Title: TriDF: Triplane-Accelerated Density Fields for Few-Shot Remote Sensing Novel View Synthesis
• Title（参考訳）: TriDF:Few-Shot Remote Sensing New View Synthesisのための三面体加速密度場
• Authors: Jiaming Kang, Keyan Chen, Zhengxia Zou, Zhenwei Shi,
• Abstract要約: TriDFは、3つの入力ビューからの高速リモートセンシングNVSのための効率的なハイブリッド3D表現である。 本手法は,色と体積密度情報を分離し,計算負担を軽減するために独立にモデル化する。 複数のリモートセンシングシーンにわたる総合的な実験により、ハイブリッド表現が30倍の速度向上を達成することが示された。
• 参考スコア（独自算出の注目度）: 22.72162881491581
• License:
• Abstract: Remote sensing novel view synthesis (NVS) offers significant potential for 3D interpretation of remote sensing scenes, with important applications in urban planning and environmental monitoring. However, remote sensing scenes frequently lack sufficient multi-view images due to acquisition constraints. While existing NVS methods tend to overfit when processing limited input views, advanced few-shot NVS methods are computationally intensive and perform sub-optimally in remote sensing scenes. This paper presents TriDF, an efficient hybrid 3D representation for fast remote sensing NVS from as few as 3 input views. Our approach decouples color and volume density information, modeling them independently to reduce the computational burden on implicit radiance fields and accelerate reconstruction. We explore the potential of the triplane representation in few-shot NVS tasks by mapping high-frequency color information onto this compact structure, and the direct optimization of feature planes significantly speeds up convergence. Volume density is modeled as continuous density fields, incorporating reference features from neighboring views through image-based rendering to compensate for limited input data. Additionally, we introduce depth-guided optimization based on point clouds, which effectively mitigates the overfitting problem in few-shot NVS. Comprehensive experiments across multiple remote sensing scenes demonstrate that our hybrid representation achieves a 30x speed increase compared to NeRF-based methods, while simultaneously improving rendering quality metrics over advanced few-shot methods (7.4% increase in PSNR, 12.2% in SSIM, and 18.7% in LPIPS). The code is publicly available at https://github.com/kanehub/TriDF
• Abstract（参考訳）: リモートセンシングノベルビュー合成(NVS)は、リモートセンシングシーンの3次元解釈に重要な可能性をもたらし、都市計画や環境モニタリングに重要な役割を担っている。 しかし、リモートセンシングシーンは、取得制約のため、十分なマルチビュー画像が欠落することが多い。 既存のNVSメソッドは、限られた入力ビューを処理する場合、過度に適合する傾向にあるが、高度な数ショットのNVSメソッドは計算集約的で、リモートセンシングシーンで準最適に実行される。 本稿では,3つの入力ビューからの高速リモートセンシングNVSのためのハイブリッド3D表現であるTriDFを提案する。 提案手法は,色と体積密度情報を分離し,暗示放射場における計算負担を低減し,再現を加速するために独立にモデル化する。 我々は、このコンパクトな構造に高周波カラー情報をマッピングすることで、NVSタスクにおける三面体表現の可能性を探り、特徴面の直接最適化は収束を著しく高速化する。 容積密度は連続密度場としてモデル化され、画像ベースのレンダリングにより隣接するビューからの参照特徴を取り入れ、限られた入力データに補償する。 さらに,ポイントクラウドに基づく奥行き誘導最適化を導入し,NVSにおけるオーバーフィッティング問題を効果的に軽減する。 複数のリモートセンシングシーンにわたる総合的な実験により、我々のハイブリッド表現は、NeRF法に比べて30倍の速度向上を実現し、同時に高度な数ショット法よりもレンダリング品質の指標を改善した(PSNRは7.4%、SSIMは12.2%、LPIPSは18.7%)。 コードはhttps://github.com/ Kanehub/TriDFで公開されている。

関連論文リスト

• See In Detail: Enhancing Sparse-view 3D Gaussian Splatting with Local Depth and Semantic Regularization [14.239772421978373]
  3次元ガウス散乱(3DGS)は、新規なビュー合成において顕著な性能を示した。 しかし、そのレンダリング品質は、粗いインフットビューによって劣化し、歪んだコンテンツと細部が減少する。 本稿では,事前情報を取り入れたスパースビュー3DGS法を提案する。 LLFFデータセット上でPSNRを最大0.4dB改善し、最先端の新規ビュー合成手法より優れる。
  論文  参考訳（メタデータ） (2025-01-20T14:30:38Z)
• MVPGS: Excavating Multi-view Priors for Gaussian Splatting from Sparse Input Views [27.47491233656671]
  新規ビュー合成(NVS)は3次元視覚アプリケーションにおいて重要な課題である。 我々は,3次元ガウススプラッティングに基づくマルチビュー先行を探索する数ショットNVS法である textbfMVPGS を提案する。 実験により,提案手法はリアルタイムレンダリング速度で最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-09-22T05:07:20Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth Supervision for Indoor Multi-View 3D Detection [72.0098999512727]
  NeRF-Detは、NeRFを用いた屋内マルチビュー3次元検出において、表現学習の強化による優れた性能を実現している。 セマンティックエンハンスメント(セマンティックエンハンスメント)、パースペクティブ・アウェア・サンプリング(パースペクティブ・アウェア・サンプリング)、および順序深度監視を含む3つのソリューションを提案する。 結果として得られたアルゴリズムであるNeRF-Det++は、ScanNetV2とAR KITScenesデータセットで魅力的なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-22T11:48:06Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• DARF: Depth-Aware Generalizable Neural Radiance Field [51.29437249009986]
  本稿では,Depth-Aware Dynamic Smpling(DADS)戦略を用いたDARF(Depth-Aware Generalizable Neural Radiance Field)を提案する。 筆者らのフレームワークは,数枚の入力画像で,画素レベルと幾何学レベルの両方の見えないシーンを推測する。 DARFは、最先端の一般化可能なNeRF法と比較して、レンダリング品質と深さ推定を改善しつつ、サンプルを50%削減する。
  論文  参考訳（メタデータ） (2022-12-05T14:00:59Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。