論文の概要: DesignAgent3D: Interactive 3D Scene Editing via Designer-like Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2608.21438v1
- Date: Tue, 18 Aug 2026 01:16:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.071717
- Title: DesignAgent3D: Interactive 3D Scene Editing via Designer-like Multimodal Reasoning
- Title（参考訳）: DesignAgent3D:デザイナーライクなマルチモーダル推論によるインタラクティブな3Dシーン編集
- Abstract要約: テキストガイド3Dシーン編集は、再構成された環境を修正するための直感的なインタフェースを提供する。
既存の方法は、通常、タスクを単一のプロンプトからワンショット条件生成として定式化する。
DesignAgent3Dは、3Dシーンの編集をデザインライクなPlan-Perceive-Actパラダイムとして再構成する対話型マルチモーダルエージェントフレームワークである。
- 参考スコア（独自算出の注目度）: 32.91291969659809
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text guided 3D scene editing provides an intuitive interface for modifying reconstructed environments, but remains difficult because natural language design requests are often semantically underspecified and must be grounded in cluttered 3D scenes. Existing methods typically formulate the task as one-shot conditional generation from a single prompt, failing to resolve ambiguous user intents or achieve precise spatial grounding. Consequently, they suffer from severe object localization drift, tracking failure under occlusions, and the notorious multi-view "sticker effect." To overcome these limitations, we present DesignAgent3D, an interactive multimodal agentic framework that reformulates 3D scene editing as a designer-like Plan-Perceive-Act paradigm. The agent first plans by interacting with the user to clarify underspecified design goals, then perceives by grounding the intended edit to specific objects or regions in the 3D scene, and finally acts by applying controlled visual modifications while preserving scene consistency. The edits are further integrated into the underlying 3D representation, supporting persistent and multi-view consistent novel-view rendering. Extensive experiments across both NeRF and 3D Gaussian Splatting backbones demonstrate that DesignAgent3D significantly outperforms state-of-the-art baselines, delivering superior semantic intent alignment, impeccable spatial localization accuracy, and high-fidelity multi-view consistency.
- Abstract（参考訳）: テキストガイド3Dシーン編集は、再構成された環境を修正するための直感的なインタフェースを提供するが、自然言語設計要求は意味的に不明確であり、散らばった3Dシーンで接地する必要があるため、依然として困難である。
既存の方法は、通常、タスクを単一のプロンプトからワンショット条件生成として定式化し、曖昧なユーザ意図の解決に失敗したり、正確な空間的接地を達成できなかった。
その結果、彼らは厳しい物体の局所化の漂流、閉塞下での故障の追跡、そして悪名高いマルチビューの「ステッカー効果」に悩まされた。
これらの制約を克服するために,設計者のようなPlan-Perceive-Actパラダイムとして3Dシーン編集を再構成する対話型マルチモーダルエージェントフレームワークであるDesignAgent3Dを提案する。
エージェントはまず、ユーザと対話して、未特定な設計目標を明確にし、次に、3Dシーン内の特定のオブジェクトや領域に対して意図した編集を土台にして認識し、最終的に、シーンの一貫性を維持しながら、制御された視覚的修正を適用することで行動する。
編集は基礎となる3D表現にさらに統合され、永続的かつ複数ビューで一貫したノベルビューレンダリングをサポートする。
NeRFおよび3D Gaussian Splattingのバックボーンの広範な実験により、DesignAgent3Dは最先端のベースラインを著しく上回り、より優れたセマンティックな意図のアライメント、到達不能な空間的ローカライゼーションの精度、高忠実なマルチビューの一貫性を実現している。
関連論文リスト
- Native3D: End-to-End 3D Scene Generation via Unified Mesh-Texture Modeling and Semantic Alignment [8.98466538269363]
Native3Dは、2D中間表現を完全にバイパスする最初のエンドツーエンドの3Dシーン生成フレームワークである。
本稿では,トランスフォーマーを用いたシーンエンコーダを用いて,幾何学的構造とテクスチャの特徴を同時にモデル化したメッシュ・テクスチャ結合表現を提案する。
論文 参考訳（メタデータ） (2026-06-05T10:13:17Z) - VGGT-Edit: Feed-forward Native 3D Scene Editing with Residual Field Prediction [59.303842406260124]
VGGT-Editはテキスト条件のネイティブ3Dシーン編集のためのフィードフォワードフレームワークである。
本研究では,奥行き同期テキストインジェクションを導入し,意味的指導をバックボーンの空間的ポーズと整合させる。
VGGT-Editは2Dリフトベースラインを大幅に上回り、よりシャープなオブジェクトの詳細、より強力なマルチビュー一貫性、ほぼインスタントな推論速度を生み出している。
論文 参考訳（メタデータ） (2026-05-14T17:59:04Z) - SDesc3D: Towards Layout-Aware 3D Indoor Scene Generation from Short Descriptions [71.54559024212976]
短いテキスト記述を前提とした室内3次元シーン生成は,インタラクティブな3次元環境構築に有望な道を提供する。
既存の作品は、そのような意味的凝縮の場合、身体的妥当性の低下と詳細性の不足に悩まされている。
SDesc3Dは,マルチビュー構造と地域機能を考慮した,短文条件付き屋内シーン生成フレームワークである。
論文 参考訳（メタデータ） (2026-04-02T12:33:01Z) - Unified Semantic Transformer for 3D Scene Understanding [55.415468022487005]
我々は、単一のモデル内に多様な3Dセマンティックタスクを統一する新しいフィードフォワードニューラルネットワークUNITEを紹介する。
我々のモデルは、完全なエンドツーエンドで見えないシーンで動作し、完全な3Dセマンティックジオメトリを推測するのにほんの数秒しかかからない。
UNITEはいくつかの異なる意味的タスクにおいて最先端のパフォーマンスを達成し、タスク固有のモデルよりも優れていることを実証する。
論文 参考訳（メタデータ） (2025-12-16T12:49:35Z) - Error-Driven Scene Editing for 3D Grounding in Large Language Models [71.41120775319088]
近年の3D-LLMの進歩にもかかわらず、3D環境における視覚的および空間的要素に正確に接地する言語に限られている。
この制限は、3Dリソースの不足による空間的理解よりも、言語推論に焦点を当てたトレーニングデータに起因している。
本稿では,これらのバイアスを緩和する正確な視覚的カウンターファクトを生成するための重要なメカニズムとして,3Dシーン編集を提案する。
論文 参考訳（メタデータ） (2025-11-18T03:13:29Z) - Mastering Regional 3DGS: Locating, Initializing, and Editing with Diverse 2D Priors [67.22744959435708]
3Dセマンティックパーシングは2Dに比べて性能が劣ることが多く、3D空間内でのターゲット操作がより困難になり、編集の忠実さが制限される。
本稿では,2次元拡散編集を利用して各ビューの修正領域を正確に同定し,次に3次元ローカライゼーションのための逆レンダリングを行う。
実験により,提案手法は最新技術の性能を実現し,最大4倍のスピードアップを実現した。
論文 参考訳（メタデータ） (2025-07-07T19:15:43Z) - InterGSEdit: Interactive 3D Gaussian Splatting Editing with 3D Geometry-Consistent Attention Prior [3.6657066043195585]
InterGSEditは、ユーザの好みでキービューをインタラクティブに選択することで、高品質な3DGS編集のための新しいフレームワークである。
我々は,意図融合ネットワーク(AFN)を介して2次元交差注意と融合した3次元制約された注意を得るために,GAP3D$を計画する。
論文 参考訳（メタデータ） (2025-07-07T13:04:26Z) - 3DSceneEditor: Controllable 3D Scene Editing with Gaussian Splatting [31.98493679748211]
ガウススプラッティングを用いた3次元シーンのリアルタイムかつ高精度な編集を行う3DceneEditorを提案する。
従来の方法とは異なり、3DSceneEditorは3Dパイプラインを通して動作し、効率よく高品質な編集のためにガウシアンを直接操作できる。
論文 参考訳（メタデータ） (2024-12-02T15:03:55Z) - Chat-Edit-3D: Interactive 3D Scene Editing via Text Prompts [76.73043724587679]
CE3Dと呼ばれる対話型3Dシーン編集手法を提案する。
Hash-Atlasは3Dシーンビューを表し、3Dシーンの編集を2Dアトラスイメージに転送する。
その結果、CE3Dは複数の視覚モデルを効果的に統合し、多様な視覚効果が得られることを示した。
論文 参考訳（メタデータ） (2024-07-09T13:24:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。