論文の概要: Dynamic-Robust Photometric-Semantic Reconstruction for Open-Vocabulary 3D Scene Understanding
- arxiv url: http://arxiv.org/abs/2608.29177v1
- Date: Sat, 29 Aug 2026 09:58:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.867852
- Title: Dynamic-Robust Photometric-Semantic Reconstruction for Open-Vocabulary 3D Scene Understanding
- Title（参考訳）: オープンボキャブラリ3次元シーン理解のための動的ロバスト測光セマンティック再構成
- Abstract要約: SPARは、潜在空間アグリゲーションの前に過渡的ダイナミックノイズを明示的に分離する新しい意味幾何学的エンコーディングアーキテクチャである。
エンド・ツー・エンドのアプローチは例外的な新規なビュー合成品質を実現し、PSNRは22.15dB、23.33dBでそれぞれ3と4の入力ビューしか与えられなかった。
- 参考スコア（独自算出の注目度）: 63.599342750566485
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of novel view synthesis (NVS) and open-vocabulary segmentation (OVS) has recently yielded powerful feed-forward 3D foundation models. However, their inherent reliance on static-scene assumptions leads to severe misalignment of spatial features in unconstrained dynamic environments. To bridge this critical gap, we propose SPAR, a novel joint semantic-geometric encoding architecture that explicitly isolates transient dynamic noise prior to latent space aggregation. Furthermore, we introduce a dynamic-region-aware end-to-end training paradigm that structurally couples motion estimation with multi-view visual and semantic learning. This unified approach enables the network to inherently resolve motion conflicts and distill multi-view consistent, temporally stable scene representations from dynamic inputs. Extensive experiments on the challenging D-RE10K benchmark demonstrate that SPAR achieves state-of-the-art performance. Our end-to-end approach achieves exceptional novel view synthesis quality, yielding a PSNR of 22.15 dB and 23.33 dB given only 3 and 4 input views respectively. Despite being trained in a self-supervised manner, our model achieves an mIoU of 88.5% for motion mask prediction. Furthermore, our analysis reveals a strong inter-task synergy between photometric scene reconstruction and semantic understanding, where semantic synthesis learning consistently enhances photometric fidelity in novel view rendering. Code will be available at https://github.com/dmucby/SPAR.
- Abstract（参考訳）: 新規ビュー合成(NVS)とオープンボキャブラリセグメンテーション(OVS)の統合は、最近、強力なフィードフォワード3D基盤モデルを生み出している。
しかし、静的な仮定に固有の依存は、制約のない動的環境における空間的特徴の深刻な不整合をもたらす。
この重要なギャップを埋めるために,SPARを提案する。SPARは,潜時空間アグリゲーションに先立って過渡的ダイナミックノイズを明示的に分離する,新しい意味幾何学的符号化アーキテクチャである。
さらに,動作推定と多視点視覚・セマンティック学習を構造的に組み合わせた動的領域認識型エンドツーエンドトレーニングパラダイムを導入する。
この統合されたアプローチにより、ネットワークは動作競合を本質的に解決し、動的入力から時間的に安定な複数ビューのシーン表現を蒸留することができる。
挑戦的なD-RE10Kベンチマークに関する大規模な実験は、SPARが最先端のパフォーマンスを達成することを示した。
エンド・ツー・エンドのアプローチは例外的な新規なビュー合成品質を実現し、PSNRは22.15dB、23.33dBでそれぞれ3と4の入力ビューしか与えられなかった。
自己指導型でトレーニングされているにもかかわらず、動作マスク予測のmIoUは88.5%に達する。
さらに,本分析により,光度シーン再構成とセマンティック理解の強いタスク間相乗効果が明らかとなり,セマンティックシンセサイティング学習は新規なビューレンダリングにおける光度フィディリティを継続的に向上させる。
コードはhttps://github.com/dmucby/SPAR.comから入手できる。
関連論文リスト
- SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video [88.79625979053873]
事前学習型視覚言語モデル(VLM)のための新しいフレームワークSpaceEraを提案する。
データ構築、モデル設計、トレーニング最適化、推論の促進にまたがる、SpaceEra++と呼ばれる、オリジナルのフレームワークを包括的なシステムに拡張します。
さらに,空間的推論を強化するために,絶対座標と相対空間関係を協調的に利用することにより,対物制約を強制するSpaceAlignを開発した。
論文 参考訳（メタデータ） (2026-07-02T06:56:29Z) - Beyond Static Gaussians: An Empirical Investigation of Architectural Paradigms for Dynamic 3D Scene Reconstruction [11.523616541218878]
3D Gaussian Splatting(3DGS)による動的シーン再構築は、進化する環境を表現するための魅力的なアプローチとして現れている。
本稿では,動的3DGS手法の包括的解析を行い,それらを2つのパラダイムに分類する。
論文 参考訳（メタデータ） (2026-05-30T00:42:38Z) - SLARM: Streaming and Language-Aligned Reconstruction Model for Dynamic Scenes [9.44079073767086]
SLARMは動的シーン再構成、セマンティック理解、リアルタイムストリーミング推論を統合するフィードフォワードモデルである。
高次モーションモデリングによって複雑な、一様でない動きをキャプチャし、フローの監督なしに、微分可能なレンダリングのみを訓練する。
SLARMは、ウィンドウベースの因果注意を用いて画像シーケンスを処理し、メモリコストを蓄積することなく、安定した低レイテンシのストリーミング推論を実現する。
論文 参考訳（メタデータ） (2026-03-24T07:42:05Z) - SemanticNVS: Improving Semantic Scene Understanding in Generative Novel View Synthesis [25.524477911101325]
新規ビュー合成のためのカメラ条件付き多視点拡散モデルSemanticNVSを提案する。
既存のNVS法は、長距離カメラ動作下で意味的に不明瞭で歪んだ画像を生成する。
遠隔地でも高品質なシーンセマンティクスを実現するための条件付けとして,事前学習型セマンティクス抽出器を統合することを提案する。
論文 参考訳（メタデータ） (2026-02-23T17:45:21Z) - DynaPURLS: Dynamic Refinement of Part-aware Representations for Skeleton-based Zero-Shot Action Recognition [51.80782323686666]
textbfDynaPURLSは、堅牢でマルチスケールなビジュアル・セマンティック対応を確立する統一的なフレームワークである。
我々のフレームワークは、グローバルな動きと局所的な身体部分のダイナミクスの両方を含む階層的なテキスト記述を生成するために、大きな言語モデルを活用する。
NTU RGB+D 60/120とPKU-MMDを含む3つの大規模ベンチマークデータセットの実験は、DynaPURLSが先行技術よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2025-12-12T10:39:10Z) - HBSplat: Robust Sparse-View Gaussian Reconstruction with Hybrid-Loss Guided Depth and Bidirectional Warping [11.035994094874141]
HBSplatは、堅牢な構造的キュー、仮想ビュー制約、隠蔽された領域補完をシームレスに統合するフレームワークである。
HBSplatは21.13dBのPSNRと0.189LPIPSを達成し、リアルタイム推論を維持している。
論文 参考訳（メタデータ） (2025-09-29T15:03:31Z) - Dynamic View Synthesis as an Inverse Problem [3.7599363231894185]
単眼ビデオからの動的ビュー合成をトレーニング不要環境における逆問題として扱う。
K次再帰雑音表現と呼ばれる新しい雑音表現を導入する。
カメラの動きから新たに見える領域を合成するために,ラテント変調を導入する。
論文 参考訳（メタデータ） (2025-06-09T17:59:47Z) - SHaDe: Compact and Consistent Dynamic 3D Reconstruction via Tri-Plane Deformation and Latent Diffusion [0.0]
本稿では3つの重要な要素を統合した動的3次元シーン再構成のための新しいフレームワークを提案する。
明示的な三面変形場、球面調和(SH)注目の視野条件付き正準場、時間的に認識される潜在拡散。
提案手法は,時間とともに進化する3つの2次元特徴面を用いて4次元シーンを符号化し,効率的なコンパクト表現を実現する。
論文 参考訳（メタデータ） (2025-05-22T11:25:38Z) - EgoSplat: Open-Vocabulary Egocentric Scene Understanding with Language Embedded 3D Gaussian Splatting [108.15136508964011]
EgoSplatは、オープン・ボキャブラリ・エゴセントリック・シーン理解のための3Dガウス・スプレイティング・フレームワークである。
EgoSplatは2つのデータセット上のローカライゼーションタスクとセグメンテーションタスクの両方において、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-03-14T12:21:26Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T11:40:49Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳（メタデータ） (2021-08-30T19:45:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。