論文の概要: GaussianVLM: Scene-centric 3D Vision-Language Models using Language-aligned Gaussian Splats for Embodied Reasoning and Beyond

• arxiv url: http://arxiv.org/abs/2507.00886v1
• Date: Tue, 01 Jul 2025 15:52:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.715487
• Title: GaussianVLM: Scene-centric 3D Vision-Language Models using Language-aligned Gaussian Splats for Embodied Reasoning and Beyond
• Title（参考訳）: GaussianVLM:言語対応ガウススプラットを用いたシーン中心の3次元視覚言語モデル
• Authors: Anna-Maria Halacheva, Jan-Nico Zaech, Xi Wang, Danda Pani Paudel, Luc Van Gool,
• Abstract要約: マルチモーダル言語モデルは、VLM(3D Vision-Language Models)の開発を推進している 本稿では,言語とタスク認識のシーン表現を用いた3次元ガウシアンスプラットシーンのためのシーン中心の3次元VLMを提案する。 本稿では,標準RGB画像から導出した光リアルな3D表現を利用した最初のガウススプラッティングに基づくVLMを提案する。
• 参考スコア（独自算出の注目度）: 56.677984098204696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As multimodal language models advance, their application to 3D scene understanding is a fast-growing frontier, driving the development of 3D Vision-Language Models (VLMs). Current methods show strong dependence on object detectors, introducing processing bottlenecks and limitations in taxonomic flexibility. To address these limitations, we propose a scene-centric 3D VLM for 3D Gaussian splat scenes that employs language- and task-aware scene representations. Our approach directly embeds rich linguistic features into the 3D scene representation by associating language with each Gaussian primitive, achieving early modality alignment. To process the resulting dense representations, we introduce a dual sparsifier that distills them into compact, task-relevant tokens via task-guided and location-guided pathways, producing sparse, task-aware global and local scene tokens. Notably, we present the first Gaussian splatting-based VLM, leveraging photorealistic 3D representations derived from standard RGB images, demonstrating strong generalization: it improves performance of prior 3D VLM five folds, in out-of-the-domain settings.
• Abstract（参考訳）: マルチモーダル言語モデルが進歩するにつれて、それらの3Dシーン理解への応用は急速に成長するフロンティアであり、3Dビジョン言語モデル(VLM)の開発を推進している。 現在の手法は、オブジェクト検出器への強い依存を示し、処理のボトルネックと分類学的柔軟性の制限を導入している。 これらの制約に対処するために,言語とタスク認識のシーン表現を用いた3次元ガウススプラットシーンのためのシーン中心の3次元VLMを提案する。 提案手法は,ガウスの原始言語と言語を関連付けることで3次元シーン表現にリッチな言語的特徴を直接組み込んで,早期のモダリティアライメントを実現する。 得られた高密度表現を処理するために,タスク誘導型および位置誘導型経路を通した,コンパクトでタスク関連性の高いトークンに蒸留し,スパース,タスク認識型グローバルおよびローカルシーントークンを生成するデュアルスペーサーを導入する。 特に,標準RGB画像から導出される光リアルな3D表現を利用したガウススプラッティングベースのVLMについて述べる。

関連論文リスト

• Tackling View-Dependent Semantics in 3D Language Gaussian Splatting [80.88015191411714]
  LaGaは、3Dシーンをオブジェクトに分解することで、ビュー間のセマンティック接続を確立する。 セマンティック記述子をクラスタリングし、多視点セマンティックスに基づいてそれらを重み付けすることで、ビュー集約セマンティック表現を構築する。 同じ設定で、LaGaはLERF-OVSデータセットの以前のSOTAよりも+18.7% mIoUを大幅に改善した。
  論文  参考訳（メタデータ） (2025-05-30T16:06:32Z)
• Dr. Splat: Directly Referring 3D Gaussian Splatting via Direct Language Embedding Registration [41.046653227409564]
  Dr. Splatは3Dガウススプラッティングを利用したオープンな3Dシーン理解のための新しいアプローチである。 本手法は,言語対応のCLIP埋め込みと3Dガウスアンを関連付けることで,総合的な3Dシーン理解を実現する。 実験により、我々のアプローチは既存の3次元知覚ベンチマークよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-23T17:01:14Z)
• Occam's LGS: An Efficient Approach for Language Gaussian Splatting [57.00354758206751]
  言語3Dガウススプラッティングのための複雑なパイプラインは、単純に不要であることを示す。 我々は,オッカムのカミソリを手作業に適用し,高効率な重み付き多視点特徴集約技術を実現する。
  論文  参考訳（メタデータ） (2024-12-02T18:50:37Z)
• g3D-LF: Generalizable 3D-Language Feature Fields for Embodied Tasks [62.74304008688472]
  Generalizable 3D-Language Feature Fields (g3D-LF)は、大規模な3D言語データセットで事前訓練された3D表現モデルである。
  論文  参考訳（メタデータ） (2024-11-26T01:54:52Z)
• Grounded 3D-LLM with Referent Tokens [58.890058568493096]
  そこで我々は,Grounded 3D-LLMを提案する。 このモデルは、3Dシーンを参照するために特別な名詞句としてシーン参照トークンを使用する。 タスクごとの指示追従テンプレートは、3D視覚タスクを言語形式に翻訳する際の自然と多様性を保証するために使用される。
  論文  参考訳（メタデータ） (2024-05-16T18:03:41Z)
• FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding [11.118857208538039]
  基礎モデルの視覚言語埋め込みを3次元ガウススプラッティング(GS)に組み込んだ基礎モデル埋め込みガウススプラッティング(S)を提案する。 結果は、多面的なセマンティック一貫性を示し、様々な下流タスクを容易にし、オープン語彙言語に基づくオブジェクト検出において、最先端のメソッドを10.2%上回った。 本研究では,視覚・言語・3次元シーン表現の交わりについて検討し,制御されていない現実世界環境におけるシーン理解の強化の道を開く。
  論文  参考訳（メタデータ） (2024-01-03T20:39:02Z)
• Language Embedded 3D Gaussians for Open-Vocabulary Scene Understanding [2.517953665531978]
  オープン語彙クエリタスクのための新しいシーン表現であるLanguage Embedded 3D Gaussiansを紹介する。 我々の表現は、現在の言語埋め込み表現において、最高の視覚的品質と言語クエリの精度を達成する。
  論文  参考訳（メタデータ） (2023-11-30T11:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。