論文の概要: Spectral Probing of Feature Upsamplers in 2D-to-3D Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2603.05787v1
• Date: Fri, 06 Mar 2026 00:35:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:44.793473
• Title: Spectral Probing of Feature Upsamplers in 2D-to-3D Scene Reconstruction
• Title（参考訳）: 2次元から3次元のシーン再構成における特徴アップサンプラーの分光探査
• Authors: Ling Xiao, Yuliang Xiu, Yue Chen, Guoming Wang, Toshihiko Yamasaki,
• Abstract要約: 近年の学習可能なアップサンプリング手法は,空間的詳細性を高めることを目的としている。 CLIPおよびDINOバックボーンの古典的および学習可能なアップサンプリング法について,3つの重要な知見を観察した。 その結果, 復元品質は, 空間的詳細性を高めることよりも, スペクトル構造の保存と密接な関係があることが示唆された。
• 参考スコア（独自算出の注目度）: 41.21245865872482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A typical 2D-to-3D pipeline takes multi-view images as input, where a Vision Foundation Model (VFM) extracts features that are spatially upsampled to dense representations for 3D reconstruction. If dense features across views preserve geometric consistency, differentiable rendering can recover an accurate 3D representation, making the feature upsampler a critical component. Recent learnable upsampling methods mainly aim to enhance spatial details, such as sharper geometry or richer textures, yet their impact on 3D awareness remains underexplored. To address this gap, we introduce a spectral diagnostic framework with six complementary metrics that characterize amplitude redistribution, structural spectral alignment, and directional stability. Across classical interpolation and learnable upsampling methods on CLIP and DINO backbones, we observe three key findings. First, structural spectral consistency (SSC/CSC) is the strongest predictor of NVS quality, whereas High-Frequency Spectral Slope Drift (HFSS) often correlates negatively with reconstruction performance, indicating that emphasizing high-frequency details alone does not necessarily improve 3D reconstruction. Second, geometry and texture respond to different spectral properties: Angular Energy Consistency (ADC) correlates more strongly with geometry-related metrics, while SSC/CSC influence texture fidelity slightly more than geometric accuracy. Third, although learnable upsamplers often produce sharper spatial features, they rarely outperform classical interpolation in reconstruction quality, and their effectiveness depends on the reconstruction model. Overall, our results indicate that reconstruction quality is more closely related to preserving spectral structure than to enhancing spatial detail, highlighting spectral consistency as an important principle for designing upsampling strategies in 2D-to-3D pipelines.
• Abstract（参考訳）: 典型的な2D-to-3Dパイプラインはマルチビュー画像を入力として取り、視覚基礎モデル(VFM)は空間的に3D再構成のために密集した表現にマッピングされた特徴を抽出する。 ビューにまたがる密集した機能が幾何的整合性を保つならば、差別化可能なレンダリングは正確な3D表現を復元し、特徴のアップサンプラーを重要なコンポーネントにする。 最近の学習可能なアップサンプリング手法は主に、よりシャープな幾何学やよりリッチなテクスチャといった空間的詳細性を高めることを目的としている。 このギャップに対処するために、振幅再分配、構造スペクトルアライメント、方向安定性を特徴付ける6つの相補的指標を持つスペクトル診断フレームワークを導入する。 古典的補間法およびCLIPおよびDINOバックボーンの学習性アップサンプリング法により,3つの重要な所見が観察された。 まず、構造スペクトル整合性(SSC/CSC)がNVS品質の最も強い予測因子であるのに対し、高周波数スペクトルスロープドリフト(HFSS)は、しばしば再構成性能と負の相関を示し、高周波詳細のみを強調することが必ずしも3D再構成を改善するとは限らないことを示す。 第二に、幾何とテクスチャは異なるスペクトル特性に応答する: Angular Energy Consistency (ADC) は幾何に関連したメトリクスと強く相関し、SSC/CSCは幾何精度よりもわずかにテクスチャの忠実性に影響を与える。 第三に、学習可能なアップサンプラーは、しばしばよりシャープな空間的特徴を生み出すが、古典的な補間を再現品質で上回ることは滅多になく、それらの効果は再構成モデルに依存する。 以上の結果から,2次元から3次元パイプラインのアップサンプリング戦略設計における重要な原則として,コントラストの整合性を強調した。

関連論文リスト

• Exploring Spatiotemporal Feature Propagation for Video-Level Compressive Spectral Reconstruction: Dataset, Model and Benchmark [22.5556672954071]
  SCI(Spectral Compressive Imaging)は、ダイナミックスペクトルビジョンにおいて大きな可能性を秘めている。 既存の再建法は、主にイメージベースであり、2つの制限がある。 フレーム・バイ・フレームの再構築パラダイムは、ビデオ知覚において重要な時間的一貫性を確保するのに失敗する。
  論文  参考訳（メタデータ） (2026-02-28T12:11:13Z)
• SR$^{2}$-Net: A General Plug-and-Play Model for Spectral Refinement in Hyperspectral Image Super-Resolution [3.4888894498274747]
  HSI-SRは、スペクトル的に忠実で物理的に妥当な特性を維持しながら、空間分解能を高めることを目的としている。 これらの方法はしばしばバンド間のスペクトルの一貫性を無視し、刺激的な振動と物理的に不可解な人工物をもたらす。 本稿では,この問題に対処するための軽量なプラグ・アンド・プレイ方式であるSpectral Rectification Super-Resolution Network (SR$2$-Net)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T07:00:00Z)
• HBSplat: Robust Sparse-View Gaussian Reconstruction with Hybrid-Loss Guided Depth and Bidirectional Warping [11.035994094874141]
  HBSplatは、堅牢な構造的キュー、仮想ビュー制約、隠蔽された領域補完をシームレスに統合するフレームワークである。 HBSplatは21.13dBのPSNRと0.189LPIPSを達成し、リアルタイム推論を維持している。
  論文  参考訳（メタデータ） (2025-09-29T15:03:31Z)
• Seeing 3D Through 2D Lenses: 3D Few-Shot Class-Incremental Learning via Cross-Modal Geometric Rectification [59.17489431187807]
  本稿では,CLIPの階層的空間意味論を活用することで3次元幾何学的忠実度を高めるフレームワークを提案する。 本手法は3次元のクラスインクリメンタル学習を著しく改善し,テクスチャバイアスに対して優れた幾何コヒーレンスとロバスト性を実現する。
  論文  参考訳（メタデータ） (2025-09-18T13:45:08Z)
• Towards Integrating Multi-Spectral Imaging with Gaussian Splatting [8.908394706712395]
  色(RGB)とマルチスペクトル画像(マルチスペクトル)を3次元ガウススティングフレームワークに統合する方法について検討する。 球面高調波色成分に直接マルチスペクトルデータを統合して、ガウスの多重スペクトル反射率をコンパクトにモデル化することを提案する。
  論文  参考訳（メタデータ） (2025-08-31T20:53:35Z)
• DCT-Mamba3D: Spectral Decorrelation and Spatial-Spectral Feature Extraction for Hyperspectral Image Classification [38.538268270711534]
  ハイパースペクトル画像分類は、スペクトル冗長性と複雑な空間スペクトル依存性による課題を提示する。 本稿では,高スペクトル画像分類のための新しいフレームワークDCT-Mamba3Dを提案する。
  論文  参考訳（メタデータ） (2025-02-04T04:00:08Z)
• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。