論文の概要: Let Language Constrain Geometry: Vision-Language Models as Semantic and Spatial Critics for 3D Generation

• arxiv url: http://arxiv.org/abs/2511.14271v1
• Date: Tue, 18 Nov 2025 09:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:53.025492
• Title: Let Language Constrain Geometry: Vision-Language Models as Semantic and Spatial Critics for 3D Generation
• Title（参考訳）: 言語制約幾何:3次元生成のための意味的・空間的批判としての視覚言語モデル
• Authors: Weimin Bai, Yubo Li, Weijian Luo, Zeqiang Lai, Yequan Wang, Wenzheng Chen, He Sun,
• Abstract要約: 本稿では,差別化可能な意味的・空間的批判のための枠組みであるVLM3Dを提案する。 我々のコアコントリビューションは、VLMの「Yes or No log-odds」から派生した2言語による批判信号です。 VLM3Dは、VLMの豊かな言語によるセマンティクスと空間の理解を多種多様な3D生成パイプラインに注入する、原則的で一般的な経路を確立している。
• 参考スコア（独自算出の注目度）: 34.44214123004662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-3D generation has advanced rapidly, yet state-of-the-art models, encompassing both optimization-based and feed-forward architectures, still face two fundamental limitations. First, they struggle with coarse semantic alignment, often failing to capture fine-grained prompt details. Second, they lack robust 3D spatial understanding, leading to geometric inconsistencies and catastrophic failures in part assembly and spatial relationships. To address these challenges, we propose VLM3D, a general framework that repurposes large vision-language models (VLMs) as powerful, differentiable semantic and spatial critics. Our core contribution is a dual-query critic signal derived from the VLM's Yes or No log-odds, which assesses both semantic fidelity and geometric coherence. We demonstrate the generality of this guidance signal across two distinct paradigms: (1) As a reward objective for optimization-based pipelines, VLM3D significantly outperforms existing methods on standard benchmarks. (2) As a test-time guidance module for feed-forward pipelines, it actively steers the iterative sampling process of SOTA native 3D models to correct severe spatial errors. VLM3D establishes a principled and generalizable path to inject the VLM's rich, language-grounded understanding of both semantics and space into diverse 3D generative pipelines.
• Abstract（参考訳）: テキスト・ツー・3D生成は、最適化ベースとフィードフォワードアーキテクチャの両方を含む最先端のモデルが急速に進歩しているが、2つの基本的な制限に直面している。 まず、粗いセマンティックアライメントに苦しむが、しばしば細かなプロンプトの詳細を捉えるのに失敗する。 第二に、それらは堅牢な3次元空間的理解に欠けており、部分集合と空間的関係における幾何学的矛盾と破滅的な失敗につながっている。 これらの課題に対処するため、我々は大規模な視覚言語モデル(VLM)を強力で微分可能な意味論的・空間的批判として活用する一般的なフレームワークであるVLM3Dを提案する。 我々のコアコントリビューションは、VLMの「Yes or No log-odds」から派生した二重クエリの批判信号であり、意味的忠実性と幾何学的コヒーレンスの両方を評価する。 1)最適化に基づくパイプラインの報奨目的として、VLM3Dは標準ベンチマークにおいて既存の手法よりも大幅に優れています。 2) フィードフォワードパイプラインの試験時間誘導モジュールとして,SOTAネイティブ3次元モデルの反復サンプリングプロセスを積極的に評価し,重度の空間誤差を補正する。 VLM3Dは、VLMの豊かな言語によるセマンティクスと空間の理解を多種多様な3D生成パイプラインに注入する、原則的で一般化可能な経路を確立する。

関連論文リスト

• IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
  人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。 本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
  論文  参考訳（メタデータ） (2025-10-26T14:57:44Z)
• Vision-Language Models as Differentiable Semantic and Spatial Rewards for Text-to-3D Generation [23.359745449828363]
  本稿では,新しいテキストから3D生成フレームワークであるVLM3Dを提案する。 これは、大きな視覚言語モデルをScore Distillation Samplingパイプラインに統合し、差別化可能なセマンティクスと空間的プリエントとして利用する。 VLM3Dは, 意味的忠実度, 幾何学的コヒーレンス, 空間的正当性において, 従来のSDS法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-19T08:54:52Z)
• 3D-Aware Vision-Language Models Fine-Tuning with Geometric Distillation [17.294440057314812]
  VLM(Vision-Language Models)は様々な視覚的・言語的タスクにおいて顕著な性能を示した。 人為的な幾何学的手がかりを予め訓練されたVLMに注入するフレームワークであるGeometric Distillationを提案する。 本手法は、自然な画像テキスト入力と互換性を保ちながら、表現を幾何学的に認識するように形成する。
  論文  参考訳（メタデータ） (2025-06-11T15:56:59Z)
• Cross-Modal and Uncertainty-Aware Agglomeration for Open-Vocabulary 3D Scene Understanding [58.38294408121273]
  CUA-O3Dと呼ばれるオープン語彙3次元シーン理解のためのクロスモーダル・不確実性認識アグリゲーションを提案する。 提案手法は,(1)空間認識型視覚基盤モデルの幾何学的知識とともに,VLMのセマンティックな先入観を取り入れること,(2)モデル固有の不確かさを捉えるために,新しい決定論的不確実性推定を用いること,の2つの課題に対処する。
  論文  参考訳（メタデータ） (2025-03-20T20:58:48Z)
• GEAL: Generalizable 3D Affordance Learning with Cross-Modal Consistency [50.11520458252128]
  既存の3Dアベイランス学習手法は、注釈付きデータに制限があるため、一般化と堅牢性に苦慮している。 本稿では,大規模事前学習型2Dモデルを活用することで,3次元アベイランス学習の一般化と堅牢性を高めるための新しいフレームワークであるGEALを提案する。 GEALは、既存のメソッドと、新しいオブジェクトカテゴリ、および破損したデータにおいて、一貫して優れています。
  論文  参考訳（メタデータ） (2024-12-12T17:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。