論文の概要: Global Graph-Validated Optimization for VLM-based 3D Indoor Scene Generation
- arxiv url: http://arxiv.org/abs/2608.03064v1
- Date: Tue, 04 Aug 2026 03:24:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.007779
- Title: Global Graph-Validated Optimization for VLM-based 3D Indoor Scene Generation
- Title(参考訳): VLMを用いた室内3次元シーン生成のためのグローバルグラフValidated Optimization
- Abstract要約: オープンボキャブラリー3D屋内レイアウト生成について検討し、ラベルのない3D言語命令から様々な物理的に可視なシーンを合成する。
本手法は,オープンな3次元屋内レイアウト生成における最先端性能を実現する。
- 参考スコア(独自算出の注目度): 15.117449876348774
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We study open-vocabulary 3D indoor layout generation, which synthesizes diverse and physically plausible scenes from unlabeled 3D assets using free-form language instructions. Recent methods leverage large language models (LLMs) and vision-language models (VLMs) to generate structured scenes from text. However, most model inter-asset relations implicitly or rely on local pairwise constraints and local optimization. These formulations are poorly aligned with the global, highly non-convex layout space, often yielding locally plausible yet globally inconsistent or physically infeasible scenes. We address this problem with a graph-based intermediate representation that separates semantic coherence from physical feasibility, together with a hybrid search-and-refinement strategy. First, Global Semantic Verification (GSV) represents scenes as structured graphs and enforces semantic constraints through rule-based verification. This explicit validation removes contradictory configurations and produces a globally consistent semantic scaffold. Second, Global Physical Feasibility Search (GPFS) combines evolutionary search for global exploration with gradient-based refinement for local exploitation. It reduces dependence on VLM-proposed initialization and improves robustness in non-convex and discontinuous feasible spaces. Together, GSV and GPFS move layout generation beyond local relational modeling and initialization-sensitive optimization toward globally consistent reasoning and search. Experiments show that our method achieves state-of-the-art performance in open-vocabulary 3D indoor layout generation, improving both semantic consistency and physical plausibility.
- Abstract(参考訳): 自由形式の言語命令を用いて,ラベルのない3Dアセットから多様かつ物理的に可視なシーンを合成する,オープンな3次元屋内レイアウト生成について検討する。
近年の手法では,大規模言語モデル (LLM) と視覚言語モデル (VLM) を用いてテキストから構造化シーンを生成する。
しかし、ほとんどのモデルとアセットの関係は暗黙的に、あるいは局所的なペアワイズ制約と局所的な最適化に依存している。
これらの定式化は、グローバルで、非常に非凸なレイアウト空間と不整合であり、しばしば局所的に可視であるが、グローバルに矛盾する、または物理的に不可能なシーンをもたらす。
そこで本研究では,意味的コヒーレンスを物理的実現可能性から分離するグラフベースの中間表現と,ハイブリッド検索・リファインメント戦略を用いてこの問題に対処する。
まず、グローバルセマンティック検証(GSV)は、シーンを構造化グラフとして表現し、ルールベースの検証を通じて意味的制約を強制する。
この明示的な検証は矛盾した構成を排除し、グローバルに一貫したセマンティックな足場を生成する。
第二に、GPFS(Global Physical Feasibility Search)は、グローバル探索のための進化的探索と、局所的な利用のための勾配に基づく改良を組み合わせたものである。
VLMが提案する初期化への依存を減らし、非凸かつ不連続な実現可能な空間におけるロバスト性を改善する。
GSVとGPFSは共に、局所関係モデリングや初期化に敏感な最適化を超えてレイアウト生成を、一貫した推論と探索へと移行する。
実験により,オープンな3次元屋内レイアウト生成において,本手法が最先端性能を実現し,セマンティック一貫性と物理的妥当性が向上した。
関連論文リスト
- ThinkBLOX: 3D Indoor Scene Generation with Progressive Reasoning [26.96786747869045]
我々は,3Dシーンを反復的に設計・洗練する進歩的推論フレームワークThinkBLOXを提案する。
ThinkBLOXは、レイアウト生成を状態条件付き、ステップバイステップの推論とアクションプロセスとして扱う。
近年のThinkBLOXは, 物理的妥当性, セマンティックアライメント, インタラクティブな編集性において, ワンショット, 反復ベースラインを著しく上回っている。
論文 参考訳(メタデータ) (2026-07-15T07:42:47Z) - OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following [59.53720386342017]
拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。
すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
論文 参考訳(メタデータ) (2026-05-26T00:08:06Z) - CasLayout: Cascaded 3D Layout Diffusion for Indoor Scene Synthesis with Implicit Relation Modeling [18.135856965440784]
既存のアプローチは、しばしば構造境界を見落としたり、冗長な生成エラーをもたらす完全に連結された関係グラフに依存したりする。
人間のデザイン認知にインスパイアされたCasは,共同シーン生成タスクを4つの条件付きサブステージに分解する,カスケード拡散フレームワークである。
実験により、Casは、実用上の制御性を改善しつつ、忠実さと多様性の最先端性能を達成することを示した。
論文 参考訳(メタデータ) (2026-04-30T03:18:26Z) - dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3 [36.6036728217708]
Open-Vocabulary Semantics (OVSS)は、テキスト定義カテゴリのオープンセットからピクセルレベルのラベルを割り当て、推論時に見えないクラスに信頼性の高い一般化を要求する。
我々は dinov3.seg を導入し、 dinov3.txt を OVSS 専用のフレームワークに拡張した。
まず、このバックボーンに合わせたタスク固有のアーキテクチャを設計し、従来のオープン語彙セグメンテーション作業から確立した設計原則を体系的に適用する。
第2に、VTベースのエンコーダのグローバルトークンとローカルパッチレベルのビジュアル特徴の両方に整合したテキスト埋め込みを共同で活用する。
論文 参考訳(メタデータ) (2026-03-19T23:57:28Z) - TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。
我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。
トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。
埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
論文 参考訳(メタデータ) (2026-03-03T13:28:07Z) - LoGoSeg: Integrating Local and Global Features for Open-Vocabulary Semantic Segmentation [12.192429756057132]
Open-vocabulary semantic segmentation (OVSS)は、従来のクローズドセットセマンティックセマンティックセマンティクスを拡張する。
ロゴセグは、(i)グローバルな画像とテキストの類似性を通じて関連カテゴリを動的に重み付けし、幻覚を効果的に低減するオブジェクトの存在、(ii)正確な地域レベルの視覚的テキスト対応を確立する地域対応アライメントモジュール、(iii)ローカルな構造情報とグローバルな意味コンテキストを最適に結合するデュアルストリーム融合機構の3つの重要なイノベーションを統合する。
論文 参考訳(メタデータ) (2026-02-05T12:03:11Z) - Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。
2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
論文 参考訳(メタデータ) (2025-08-15T06:43:51Z) - Topology-Aware Modeling for Unsupervised Simulation-to-Reality Point Cloud Recognition [63.55828203989405]
我々はオブジェクトポイントクラウド上でSim2Real UDAのための新しいTopology-Aware Modeling (TAM)フレームワークを紹介する。
提案手法は,低レベルの高周波3次元構造を特徴とするグローバル空間トポロジを利用して,領域間隙を緩和する。
本稿では,クロスドメイン・コントラスト学習と自己学習を組み合わせた高度な自己学習戦略を提案する。
論文 参考訳(メタデータ) (2025-06-26T11:53:59Z) - LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts [107.11267074981905]
LAW拡散(LAW-Diffusion)と呼ばれる意味制御可能なレイアウト・AWare拡散モデルを提案する。
LAW拡散は、特にコヒーレントな対象関係を持つ最先端の生成性能をもたらすことを示す。
論文 参考訳(メタデータ) (2023-08-13T08:06:18Z) - Global-to-Local Modeling for Video-based 3D Human Pose and Shape
Estimation [53.04781510348416]
フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。
エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。
我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
論文 参考訳(メタデータ) (2023-03-26T14:57:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。