論文の概要: SeMo3D: Unifying 3D Generation, Editing, and Completion via Selective Modeling
- arxiv url: http://arxiv.org/abs/2611.02568v1
- Date: Mon, 02 Nov 2026 05:54:14 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:33:54.487382
- Title: SeMo3D: Unifying 3D Generation, Editing, and Completion via Selective Modeling
- Title(参考訳): SeMo3D:選択モデリングによる3D生成、編集、補完の統合
- Abstract要約: Selective Modeling and build SeMo3D on it。
3つのベンチマークでの実験では、SeMo3Dはすべてのタスクで最先端のメソッドを上回っている。
- 参考スコア(独自算出の注目度): 16.34545265629091
- License:
- Abstract: 3D generation, editing, and completion are typically treated as regenerating the complete 3D asset under task-specific constraints, even when only a local region needs modification. This leads to task isolation, inconsistency in content that should remain unchanged, and dependence on task-specific paired data. We address these issues with a key observation: the three tasks all synthesize a designated region while keeping the rest intact---the full region for generation, the target region for editing, and the missing region for completion. We term this paradigm Selective Modeling and build SeMo3D upon it; it naturally unifies the three tasks, preserves unchanged content by construction, and enables training without paired editing or completion data, since any 3D asset can be partitioned into a selected region and its context. For training, we propose region-selective denoising, which randomly selects regions of varying sizes on standard 3D assets and applies noise and loss only to them, jointly learning all three tasks. For architecture, we propose Omni3DiT, a multi-condition 3D diffusion transformer that distinguishes regions to create from those to retain and fuses image, text, and point guidance for fine-grained control. Experiments across three benchmarks show SeMo3D surpasses state-of-the-art methods on all tasks, delivering multimodal controllability in generation and strong consistency and accuracy in editing and completion. SeMo3D further serves as a unified modeling tool for agents, enabling efficient 3D creation through natural-language interaction. Project page: https://xiaokunsun.github.io/SeMo3D.github.io/.
- Abstract(参考訳): 3D生成、編集、完了は通常、ローカル領域だけが変更を必要とする場合でも、タスク固有の制約の下で完全な3Dアセットを再生するものとして扱われる。
これにより、タスクの分離、変更すべきコンテンツの不整合、タスク固有のペアデータへの依存につながります。
これらの課題に対処するためには,3つのタスクがすべて指定された領域を合成し,残りの領域をそのままに維持する,すなわち,生成する全領域,編集する対象領域,完了する欠落領域の3つに対処する。
このパラダイムをSelective Modeling and build SeMo3Dと呼び、自然に3つのタスクを統一し、構成によって変化のないコンテンツを保存し、任意の3Dアセットを選択された領域とそのコンテキストに分割できるため、ペアや完了データなしでトレーニングを可能にする。
トレーニングでは,標準3Dアセットの様々な大きさの領域をランダムに選択し,ノイズと損失をこれらにのみ適用し,これら3つのタスク全てを共同で学習する領域選択型 denoising を提案する。
Omni3DiTは、画像、テキスト、ポイントガイダンスを微粒化制御のために保持・融合する領域とを区別する多条件3次元拡散変換器である。
3つのベンチマークでの実験では、SeMo3Dはすべてのタスクにおける最先端のメソッドを超越し、生成時のマルチモーダル制御性と、編集と完了時の強い一貫性と精度を提供する。
SeMo3Dはさらにエージェントの統一モデリングツールとして機能し、自然言語インタラクションによる効率的な3D作成を可能にしている。
プロジェクトページ: https://xiaokunsun.github.io/SeMo3D.github.io/
関連論文リスト
- UMAS3D: Unified Mask-Free 3D Editing with Region-Adaptive Source Preservation [25.78373896603812]
3D編集は、意図した編集領域の外の形状と外観を保存しながら、ユーザの意図に応じて既存の3Dアセットを変更することを目的としている。
既存の方法は、タスク固有のトレーニング、ソース3Dインバージョン、または外部3Dマスクに依存している。
UMAS3Dは、トレーニングフリーで、インバージョンフリーで、外部の3Dマスクを含まない、統一的な3D編集フレームワークである。
論文 参考訳(メタデータ) (2026-10-11T11:11:32Z) - EditVerse3D: High-Quality 3D Object Editing with Region-Aware Learning [59.36059865997641]
粗いガイダンスの下で高品質なオブジェクト編集を可能にする新しい3D編集フレームワークであるEditVerse3Dを提案する。
提案手法は,編集対象の3Dオブジェクトと,対象領域を示す粗い3D境界ボックスと,所望の修正を記述した参照2D画像とを入力として行う。
この編集を容易にするために,学習困難な領域を強調する新しい領域適応損失を導入する。
論文 参考訳(メタデータ) (2026-07-08T09:21:22Z) - Velocity-Space 3D Asset Editing [45.94997633532406]
ローカルに3Dアセットを編集し、残りの部分を保存しながらターゲット領域を変更することは、ネイティブな3D編集の基本的な要件である。
Inversion-free, training-free, and mask-free framework that address each problem with a target intervention in the sampler。
論文 参考訳(メタデータ) (2026-05-08T07:42:12Z) - Beyond Voxel 3D Editing: Learning from 3D Masks and Self-Constructed Data [40.44238807341562]
3D編集では、プロンプトに従って局所的な変更を実行することでセマンティック一貫性を維持する必要がある。
本研究では,3D編集に適した大規模データセットを自己構築したBeyond Voxel 3D Editing (BVE) フレームワークを提案する。
BVEは、原入力の視覚的特性を忠実に保持しつつ、高品質でテキスト整列した3Dアセットを生成する上で、優れたパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-04-15T10:10:27Z) - Unified Semantic Transformer for 3D Scene Understanding [55.415468022487005]
我々は、単一のモデル内に多様な3Dセマンティックタスクを統一する新しいフィードフォワードニューラルネットワークUNITEを紹介する。
我々のモデルは、完全なエンドツーエンドで見えないシーンで動作し、完全な3Dセマンティックジオメトリを推測するのにほんの数秒しかかからない。
UNITEはいくつかの異なる意味的タスクにおいて最先端のパフォーマンスを達成し、タスク固有のモデルよりも優れていることを実証する。
論文 参考訳(メタデータ) (2025-12-16T12:49:35Z) - Error-Driven Scene Editing for 3D Grounding in Large Language Models [71.41120775319088]
近年の3D-LLMの進歩にもかかわらず、3D環境における視覚的および空間的要素に正確に接地する言語に限られている。
この制限は、3Dリソースの不足による空間的理解よりも、言語推論に焦点を当てたトレーニングデータに起因している。
本稿では,これらのバイアスを緩和する正確な視覚的カウンターファクトを生成するための重要なメカニズムとして,3Dシーン編集を提案する。
論文 参考訳(メタデータ) (2025-11-18T03:13:29Z) - VoxHammer: Training-Free Precise and Coherent 3D Editing in Native 3D Space [21.430767811940356]
特定領域の3D局所編集は,ゲーム産業とロボットのインタラクションにとって重要である。
最近の方法は一般的にレンダリングされたマルチビュー画像を編集し、3Dモデルを再構成する。
本稿では,3次元ラテント空間における高精度かつコヒーレントな編集を行う新しいトレーニングフリーアプローチであるVoxHammerを提案する。
論文 参考訳(メタデータ) (2025-08-26T17:59:47Z) - Rethinking Score Distilling Sampling for 3D Editing and Generation [50.52808917055502]
Unified Distillation Sampling (UDS)は、3Dアセットの生成と編集をシームレスに統合する手法である。
UDSは、より詳細な3Dアセットの生成において、ベースラインメソッドよりも優れているだけでなく、編集タスクも優れているため、3D生成と編集のギャップを埋める。
論文 参考訳(メタデータ) (2025-05-03T18:40:39Z) - Grounded 3D-LLM with Referent Tokens [58.890058568493096]
そこで我々は,Grounded 3D-LLMを提案する。
このモデルは、3Dシーンを参照するために特別な名詞句としてシーン参照トークンを使用する。
タスクごとの指示追従テンプレートは、3D視覚タスクを言語形式に翻訳する際の自然と多様性を保証するために使用される。
論文 参考訳(メタデータ) (2024-05-16T18:03:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。