論文の概要: Spectral Probing of Feature Upsamplers in 2D-to-3D Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2603.05787v1
• Date: Fri, 06 Mar 2026 00:35:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:44.793473
• Title: Spectral Probing of Feature Upsamplers in 2D-to-3D Scene Reconstruction
• Title（参考訳）: 2次元から3次元のシーン再構成における特徴アップサンプラーの分光探査
• Abstract要約: 近年の学習可能なアップサンプリング手法は,空間的詳細性を高めることを目的としている。 CLIPおよびDINOバックボーンの古典的および学習可能なアップサンプリング法について,3つの重要な知見を観察した。 その結果, 復元品質は, 空間的詳細性を高めることよりも, スペクトル構造の保存と密接な関係があることが示唆された。
• 参考スコア（独自算出の注目度）: 41.21245865872482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A typical 2D-to-3D pipeline takes multi-view images as input, where a Vision Foundation Model (VFM) extracts features that are spatially upsampled to dense representations for 3D reconstruction. If dense features across views preserve geometric consistency, differentiable rendering can recover an accurate 3D representation, making the feature upsampler a critical component. Recent learnable upsampling methods mainly aim to enhance spatial details, such as sharper geometry or richer textures, yet their impact on 3D awareness remains underexplored. To address this gap, we introduce a spectral diagnostic framework with six complementary metrics that characterize amplitude redistribution, structural spectral alignment, and directional stability. Across classical interpolation and learnable upsampling methods on CLIP and DINO backbones, we observe three key findings. First, structural spectral consistency (SSC/CSC) is the strongest predictor of NVS quality, whereas High-Frequency Spectral Slope Drift (HFSS) often correlates negatively with reconstruction performance, indicating that emphasizing high-frequency details alone does not necessarily improve 3D reconstruction. Second, geometry and texture respond to different spectral properties: Angular Energy Consistency (ADC) correlates more strongly with geometry-related metrics, while SSC/CSC influence texture fidelity slightly more than geometric accuracy. Third, although learnable upsamplers often produce sharper spatial features, they rarely outperform classical interpolation in reconstruction quality, and their effectiveness depends on the reconstruction model. Overall, our results indicate that reconstruction quality is more closely related to preserving spectral structure than to enhancing spatial detail, highlighting spectral consistency as an important principle for designing upsampling strategies in 2D-to-3D pipelines.
• Abstract（参考訳）: 典型的な2D-to-3Dパイプラインはマルチビュー画像を入力として取り、視覚基礎モデル(VFM)は空間的に3D再構成のために密集した表現にマッピングされた特徴を抽出する。 ビューにまたがる密集した機能が幾何的整合性を保つならば、差別化可能なレンダリングは正確な3D表現を復元し、特徴のアップサンプラーを重要なコンポーネントにする。 最近の学習可能なアップサンプリング手法は主に、よりシャープな幾何学やよりリッチなテクスチャといった空間的詳細性を高めることを目的としている。 このギャップに対処するために、振幅再分配、構造スペクトルアライメント、方向安定性を特徴付ける6つの相補的指標を持つスペクトル診断フレームワークを導入する。 古典的補間法およびCLIPおよびDINOバックボーンの学習性アップサンプリング法により,3つの重要な所見が観察された。 まず、構造スペクトル整合性(SSC/CSC)がNVS品質の最も強い予測因子であるのに対し、高周波数スペクトルスロープドリフト(HFSS)は、しばしば再構成性能と負の相関を示し、高周波詳細のみを強調することが必ずしも3D再構成を改善するとは限らないことを示す。 第二に、幾何とテクスチャは異なるスペクトル特性に応答する: Angular Energy Consistency (ADC) は幾何に関連したメトリクスと強く相関し、SSC/CSCは幾何精度よりもわずかにテクスチャの忠実性に影響を与える。 第三に、学習可能なアップサンプラーは、しばしばよりシャープな空間的特徴を生み出すが、古典的な補間を再現品質で上回ることは滅多になく、それらの効果は再構成モデルに依存する。 以上の結果から,2次元から3次元パイプラインのアップサンプリング戦略設計における重要な原則として,コントラストの整合性を強調した。

関連論文リスト

• Surfsvr: 2D Surface Priors as 3D Geometric Regularizers for Sparse Voxel Reconstruction [56.51413081953813]
  SurfSVRは2次元表面の先行を明示的な3次元幾何正規化器として扱う新しいスパースボクセル再構成パラダイムである。 鮮明なボクセルの再現は、視認性と幾何学的特性が著しく異なる場面で一貫して改善される。
  論文  参考訳（メタデータ） (2026-08-12T11:25:31Z)
• QuerySplat: Decoupling Geometry and Appearance Representations in 3DGS Prediction [25.05567017307621]
  textbfQuerySplatは、幾何学的先行と明示的な外見の疎結合によって駆動されるフィードフォワード3DGSフレームワークである。 実験によると、QuerySplatは初期のクエリベースのモデルの曖昧なレンダリング問題を緩和する。 挑戦的なDL3DVベンチマークでは、ポーズフリーでポーズ要求のベースラインよりも平均2.30dBと1.04dBのPSNRゲインを持つ最先端の新規ビュー合成性能を達成している。
  論文  参考訳（メタデータ） (2026-08-02T12:12:02Z)
• Reliability-Aware 3D Geometric Injection for Universal Person Re-identification [47.874819213762926]
  本稿では,一貫性を考慮した信頼性ゲートとDual-Stream Residual Fusionによって駆動されるUniversal Monocular 3D-Enhanced ReIDフレームワークを提案する。 本手法は,クリーンドメイン上での競合性能を維持しながら,難易度,構造に敏感なシナリオを改善する。
  論文  参考訳（メタデータ） (2026-07-21T08:54:25Z)
• FLUX3D: High-Fidelity 3D Gaussian Generation with Diffusion-Aligned Sparse Representation [48.928051741750124]
  本稿では,画像から3DGSまでのスケーラブルなフレームワークを提案し,生成時の表現学習と相互モーダルアライメントを向上する。 FLUX3Dは外観の忠実さを大幅に改善し、高品質な3DGSの資産を生み出すのに最先端(SOTA)の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-06-23T17:52:21Z)
• Phy-CoSF: Physics-Guided Continuous Spectral Fields Reconstruction and Super-Resolution for Snapshot Compressive Imaging [79.35520607451187]
  暗黙のニューラル表現で深層展開ネットワークを相乗化するPhy-CoSFを提案する。 具体的には、連続的なスペクトルレンダリングで離散波長トレーニングをブリッジする2相アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-05-13T14:17:02Z)
• High-Fidelity Surface Splatting-Based 3D Reconstruction from Multi-View Images [0.0]
  Implicit moving Least Squares (IMLS) は、点雲を符号付き距離とテクスチャ場へ直接変換することができる。 ローカルサポートと柔軟性が向上し、周波数コンテンツの制御性が向上したコンパクトカーネルを導入する。 実験では、表面の再構成とレンダリングの両方において最先端の性能を示し、より正確な幾何学とよりシャープな視覚を与える。
  論文  参考訳（メタデータ） (2026-05-08T05:23:28Z)
• SpatialFly: Geometry-Guided Representation Alignment for UAV Vision-and-Language Navigation in Urban Environments [49.966170814478915]
  UAV VLNのための幾何学誘導空間表現フレームワークを提案する。 明示的な3次元再構成を伴わないRGB観測において、SpatialFlyは幾何学誘導2次元表示アライメント機構を導入する。 実験結果から、SpatialFlyは現状のUAV VLNベースラインを目に見える環境と見えない環境の両方で一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-22T03:56:58Z)
• Exploring Spatiotemporal Feature Propagation for Video-Level Compressive Spectral Reconstruction: Dataset, Model and Benchmark [22.5556672954071]
  SCI(Spectral Compressive Imaging)は、ダイナミックスペクトルビジョンにおいて大きな可能性を秘めている。 既存の再建法は、主にイメージベースであり、2つの制限がある。 フレーム・バイ・フレームの再構築パラダイムは、ビデオ知覚において重要な時間的一貫性を確保するのに失敗する。
  論文  参考訳（メタデータ） (2026-02-28T12:11:13Z)
• SR$^{2}$-Net: A General Plug-and-Play Model for Spectral Refinement in Hyperspectral Image Super-Resolution [3.4888894498274747]
  HSI-SRは、スペクトル的に忠実で物理的に妥当な特性を維持しながら、空間分解能を高めることを目的としている。 これらの方法はしばしばバンド間のスペクトルの一貫性を無視し、刺激的な振動と物理的に不可解な人工物をもたらす。 本稿では,この問題に対処するための軽量なプラグ・アンド・プレイ方式であるSpectral Rectification Super-Resolution Network (SR$2$-Net)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T07:00:00Z)
• HBSplat: Robust Sparse-View Gaussian Reconstruction with Hybrid-Loss Guided Depth and Bidirectional Warping [11.035994094874141]
  HBSplatは、堅牢な構造的キュー、仮想ビュー制約、隠蔽された領域補完をシームレスに統合するフレームワークである。 HBSplatは21.13dBのPSNRと0.189LPIPSを達成し、リアルタイム推論を維持している。
  論文  参考訳（メタデータ） (2025-09-29T15:03:31Z)
• Seeing 3D Through 2D Lenses: 3D Few-Shot Class-Incremental Learning via Cross-Modal Geometric Rectification [59.17489431187807]
  本稿では,CLIPの階層的空間意味論を活用することで3次元幾何学的忠実度を高めるフレームワークを提案する。 本手法は3次元のクラスインクリメンタル学習を著しく改善し,テクスチャバイアスに対して優れた幾何コヒーレンスとロバスト性を実現する。
  論文  参考訳（メタデータ） (2025-09-18T13:45:08Z)
• Towards Integrating Multi-Spectral Imaging with Gaussian Splatting [8.908394706712395]
  色(RGB)とマルチスペクトル画像(マルチスペクトル)を3次元ガウススティングフレームワークに統合する方法について検討する。 球面高調波色成分に直接マルチスペクトルデータを統合して、ガウスの多重スペクトル反射率をコンパクトにモデル化することを提案する。
  論文  参考訳（メタデータ） (2025-08-31T20:53:35Z)
• DCT-Mamba3D: Spectral Decorrelation and Spatial-Spectral Feature Extraction for Hyperspectral Image Classification [38.538268270711534]
  ハイパースペクトル画像分類は、スペクトル冗長性と複雑な空間スペクトル依存性による課題を提示する。 本稿では,高スペクトル画像分類のための新しいフレームワークDCT-Mamba3Dを提案する。
  論文  参考訳（メタデータ） (2025-02-04T04:00:08Z)
• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。