論文の概要: LangScene-X: Reconstruct Generalizable 3D Language-Embedded Scenes with TriMap Video Diffusion

• arxiv url: http://arxiv.org/abs/2507.02813v1
• Date: Thu, 03 Jul 2025 17:21:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:16.686247
• Title: LangScene-X: Reconstruct Generalizable 3D Language-Embedded Scenes with TriMap Video Diffusion
• Title（参考訳）: LangScene-X: TriMap Video Diffusionによる汎用3D言語埋め込みシーンの再構築
• Authors: Fangfu Liu, Hao Li, Jiawei Chi, Hanyang Wang, Minghui Yang, Fudong Wang, Yueqi Duan,
• Abstract要約: LangScene-Xは、3D一貫したマルチモダリティ情報を統一し、生成する新しい生成フレームワークである。 より一貫した新しい観察を創造する生成能力によって、我々はスパースビューのみから一般化可能な3D言語埋め込みシーンを構築することができる。
• 参考スコア（独自算出の注目度）: 21.828264119753502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering 3D structures with open-vocabulary scene understanding from 2D images is a fundamental but daunting task. Recent developments have achieved this by performing per-scene optimization with embedded language information. However, they heavily rely on the calibrated dense-view reconstruction paradigm, thereby suffering from severe rendering artifacts and implausible semantic synthesis when limited views are available. In this paper, we introduce a novel generative framework, coined LangScene-X, to unify and generate 3D consistent multi-modality information for reconstruction and understanding. Powered by the generative capability of creating more consistent novel observations, we can build generalizable 3D language-embedded scenes from only sparse views. Specifically, we first train a TriMap video diffusion model that can generate appearance (RGBs), geometry (normals), and semantics (segmentation maps) from sparse inputs through progressive knowledge integration. Furthermore, we propose a Language Quantized Compressor (LQC), trained on large-scale image datasets, to efficiently encode language embeddings, enabling cross-scene generalization without per-scene retraining. Finally, we reconstruct the language surface fields by aligning language information onto the surface of 3D scenes, enabling open-ended language queries. Extensive experiments on real-world data demonstrate the superiority of our LangScene-X over state-of-the-art methods in terms of quality and generalizability. Project Page: https://liuff19.github.io/LangScene-X.
• Abstract（参考訳）: オープンボキャブラリシーンを2次元画像から理解した3D構造を復元することは、基本的な作業であるが、厄介な作業である。 近年の進歩は,組込み言語情報を用いたシーンごとの最適化によって達成されている。 しかし、これらは校正された密集ビューの再構築パラダイムに大きく依存しており、限られたビューが利用できる場合、厳密なレンダリングアーティファクトと不明瞭なセマンティック合成に悩まされる。 本稿では,再構築と理解のための3次元一貫した多モード情報の統合と生成を行う,LangScene-Xという新しい生成フレームワークを提案する。 より一貫した新しい観察を創造する生成能力によって、我々はスパースビューのみから一般化可能な3D言語埋め込みシーンを構築することができる。 具体的には、まず、プログレッシブな知識統合を通してスパース入力から外見(RGB)、幾何学(正規)、意味(セグメンテーションマップ)を生成できるTriMapビデオ拡散モデルを訓練する。 さらに,大規模画像データセットを用いたLQC(Language Quantized Compressor)を提案する。 最後に,3次元シーンの表面に言語情報をアライメントすることで,言語表面のフィールドを再構築し,オープンエンドな言語クエリを可能にする。 実世界のデータに対する大規模な実験は、品質と一般化性の観点から、最先端の手法よりもLangScene-Xの方が優れていることを示す。 Project Page: https://liuff19.github.io/LangScene-X.com

関連論文リスト

• GaussianVLM: Scene-centric 3D Vision-Language Models using Language-aligned Gaussian Splats for Embodied Reasoning and Beyond [56.677984098204696]
  マルチモーダル言語モデルは、VLM(3D Vision-Language Models)の開発を推進している 本稿では,言語とタスク認識のシーン表現を用いた3次元ガウシアンスプラットシーンのためのシーン中心の3次元VLMを提案する。 本稿では,標準RGB画像から導出した光リアルな3D表現を利用した最初のガウススプラッティングに基づくVLMを提案する。
  論文  参考訳（メタデータ） (2025-07-01T15:52:59Z)
• Video Perception Models for 3D Scene Synthesis [109.5543506037003]
  VIPSceneは、ビデオ生成モデルにおける3D物理世界のエンコードされたコモンセンス知識を利用する新しいフレームワークである。 VIPSceneはビデオ生成、フィードフォワード3D再構成、オープン語彙認識モデルをシームレスに統合し、シーン内の各オブジェクトを意味的かつ幾何学的に分析する。
  論文  参考訳（メタデータ） (2025-06-25T16:40:17Z)
• PanoGS: Gaussian-based Panoptic Segmentation for 3D Open Vocabulary Scene Understanding [8.72555461868951]
  3D Gaussian Splatting (3DGS) はオープンな語彙シーン理解タスクの促進効果を示した。 従来の方法では3Dインスタンスレベルの情報は識別できないが、通常はシーンの特徴とテキストクエリ間のヒートマップを予測する。 新規かつ効果的な3次元パノプティカルオープンなシーン理解手法であるPanoGSを提案する。
  論文  参考訳（メタデータ） (2025-03-23T15:27:29Z)
• LangSurf: Language-Embedded Surface Gaussians for 3D Scene Understanding [42.750252190275546]
  LangSurfは3D言語フィールドとオブジェクトの表面を整列する言語組み込みのSurface Fieldである。 提案手法は,オブジェクトを3次元空間に分割することで,インスタンス認識,削除,編集におけるアプローチの有効性を高めることができる。
  論文  参考訳（メタデータ） (2024-12-23T15:12:20Z)
• Grounded 3D-LLM with Referent Tokens [58.890058568493096]
  そこで我々は,Grounded 3D-LLMを提案する。 このモデルは、3Dシーンを参照するために特別な名詞句としてシーン参照トークンを使用する。 タスクごとの指示追従テンプレートは、3D視覚タスクを言語形式に翻訳する際の自然と多様性を保証するために使用される。
  論文  参考訳（メタデータ） (2024-05-16T18:03:41Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Language Embedded 3D Gaussians for Open-Vocabulary Scene Understanding [2.517953665531978]
  オープン語彙クエリタスクのための新しいシーン表現であるLanguage Embedded 3D Gaussiansを紹介する。 我々の表現は、現在の言語埋め込み表現において、最高の視覚的品質と言語クエリの精度を達成する。
  論文  参考訳（メタデータ） (2023-11-30T11:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。