論文の概要: SAMa: Material-aware 3D Selection and Segmentation
- arxiv url: http://arxiv.org/abs/2411.19322v1
- Date: Thu, 28 Nov 2024 18:59:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:19:57.354465
- Title: SAMa: Material-aware 3D Selection and Segmentation
- Title（参考訳）: SAMA:素材を意識した3Dセレクションとセグメンテーション
- Authors: Michael Fischer, Iliyan Georgiev, Thibault Groueix, Vladimir G. Kim, Tobias Ritschel, Valentin Deschaintre,
- Abstract要約: Select Any Materials (SAMa) は,様々な3次元表現のための素材選択手法である。
モデル間の整合性を利用して、3D一貫性のある中間物質相似表現を生成する。
提案手法は任意の3次元表現に作用し、選択精度と多視点整合性の観点から、いくつかの強いベースラインを上回ります。
- 参考スコア（独自算出の注目度）: 29.319771041342623
- License:
- Abstract: Decomposing 3D assets into material parts is a common task for artists and creators, yet remains a highly manual process. In this work, we introduce Select Any Material (SAMa), a material selection approach for various 3D representations. Building on the recently introduced SAM2 video selection model, we extend its capabilities to the material domain. We leverage the model's cross-view consistency to create a 3D-consistent intermediate material-similarity representation in the form of a point cloud from a sparse set of views. Nearest-neighbour lookups in this similarity cloud allow us to efficiently reconstruct accurate continuous selection masks over objects' surfaces that can be inspected from any view. Our method is multiview-consistent by design, alleviating the need for contrastive learning or feature-field pre-processing, and performs optimization-free selection in seconds. Our approach works on arbitrary 3D representations and outperforms several strong baselines in terms of selection accuracy and multiview consistency. It enables several compelling applications, such as replacing the diffuse-textured materials on a text-to-3D output, or selecting and editing materials on NeRFs and 3D-Gaussians.
- Abstract（参考訳）: 3Dアセットを素材部品に分解することは、アーティストやクリエーターにとって共通の課題だが、それでも非常に手作業のプロセスである。
本研究では,様々な3次元表現のための材料選択手法であるSelect Any Materials (SAMa)を紹介する。
最近導入されたSAM2ビデオセレクションモデルに基づいて、その能力を材料領域に拡張する。
モデル間の整合性を利用して、スパースビューの集合から点雲の形で3次元一貫性のある中間物質類似性表現を生成する。
この類似した雲の最も近くにあるルックアップは、あらゆる視点から検査できる物体の表面上の正確な連続した選択マスクを効率的に再構築することを可能にする。
提案手法は, コントラスト学習や特徴フィールド前処理の必要性を軽減し, 最適化のない選択を数秒で行う。
提案手法は任意の3次元表現に作用し、選択精度と多視点整合性の観点から、いくつかの強いベースラインを上回ります。
テキストから3D出力の拡散テクスチャを置き換えたり、NeRFや3Dガウスの素材を選択・編集したり、いくつかの魅力的な応用を可能にしている。
関連論文リスト
- PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models [63.1432721793683]
テキスト,画像,構造化されていない3Dオブジェクトから意味のある部分からなる3Dオブジェクトを生成する新しいアプローチであるPartGenを紹介する。
提案手法は, 生成された実物および実物の3次元資産に対して評価し, セグメンテーションおよび部分抽出ベースラインを大きなマージンで上回っていることを示す。
論文 参考訳（メタデータ） (2024-12-24T18:59:43Z) - 3D Part Segmentation via Geometric Aggregation of 2D Visual Features [57.20161517451834]
監督された3D部分分割モデルは、固定されたオブジェクトと部品のセットに合わせて調整されており、それらの転送可能性は、オープンセットの現実世界のシナリオに制限される。
近年、視覚言語モデル(VLM)を多視点レンダリングとテキストプロンプトを用いてオブジェクト部品の識別に活用する研究が進められている。
これらの制約に対処するために,視覚概念から抽出した意味論と3次元幾何学をブレンドし,対象部品を効果的に同定するCOPSを提案する。
論文 参考訳（メタデータ） (2024-12-05T15:27:58Z) - Structured 3D Latents for Scalable and Versatile 3D Generation [28.672494137267837]
汎用的で高品質な3Dアセット作成のための新しい3D生成手法を提案する。
基本となるのは、異なる出力フォーマットへのデコードを可能にする、構造化されたLATent表現である。
これは、疎人口の少ない3Dグリッドと、強力な視覚基盤モデルから抽出された濃密な多視点視覚特徴を統合することで実現される。
論文 参考訳（メタデータ） (2024-12-02T13:58:38Z) - MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。
このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
論文 参考訳（メタデータ） (2024-04-22T07:00:17Z) - ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。
提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
論文 参考訳（メタデータ） (2024-03-19T03:39:43Z) - Point Cloud Self-supervised Learning via 3D to Multi-view Masked
Autoencoder [21.73287941143304]
Multi-Modality Masked AutoEncoders (MAE) 法は2次元画像と3次元点雲の両方を事前学習に利用している。
本稿では、3次元から多視点のマスク付きオートエンコーダを用いて、3次元点雲のマルチモーダル特性をフル活用する手法を提案する。
提案手法は,様々な下流タスクにおいて,最先端のタスクよりも大きなマージンで性能を向上する。
論文 参考訳（メタデータ） (2023-11-17T22:10:03Z) - AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。
3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。
次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文 参考訳（メタデータ） (2023-07-07T17:59:14Z) - CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。
我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。
3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
論文 参考訳（メタデータ） (2022-09-13T05:26:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。