論文の概要: LADIS: Language Disentanglement for 3D Shape Editing
- arxiv url: http://arxiv.org/abs/2212.05011v1
- Date: Fri, 9 Dec 2022 17:54:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-12 14:09:34.490661
- Title: LADIS: Language Disentanglement for 3D Shape Editing
- Title(参考訳): LADIS:3次元形状編集のための言語歪み
- Authors: Ian Huang, Panos Achlioptas, Tianyi Zhang, Sergey Tulyakov, Minhyuk
Sung, Leonidas Guibas
- Abstract要約: 本手法は,既存のSOTA手法を編集局所性において20%上回る性能を示した。
我々の研究は、言語表現を単に切り離すことで、下流の3D形状の編集が関連部品により局所的になることを示唆している。
- 参考スコア(独自算出の注目度): 35.796594606657735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural language interaction is a promising direction for democratizing 3D
shape design. However, existing methods for text-driven 3D shape editing face
challenges in producing decoupled, local edits to 3D shapes. We address this
problem by learning disentangled latent representations that ground language in
3D geometry. To this end, we propose a complementary tool set including a novel
network architecture, a disentanglement loss, and a new editing procedure.
Additionally, to measure edit locality, we define a new metric that we call
part-wise edit precision. We show that our method outperforms existing SOTA
methods by 20% in terms of edit locality, and up to 6.6% in terms of language
reference resolution accuracy. Our work suggests that by solely disentangling
language representations, downstream 3D shape editing can become more local to
relevant parts, even if the model was never given explicit part-based
supervision.
- Abstract(参考訳): 自然言語相互作用は、3d形状設計の民主化に有望な方向である。
しかし,既存のテキスト駆動型3次元形状編集手法では,非結合で局所的な3次元形状の編集が困難である。
我々は,3次元幾何学における基底言語における不連続な潜在表現を学習することでこの問題に対処した。
そこで本研究では,新しいネットワークアーキテクチャ,乱れ損失,新しい編集手順を含む補完的ツールセットを提案する。
さらに,編集の局所性を測定するために,パートワイズ編集精度と呼ばれる新しい指標を定義した。
本手法は,既存のSOTA手法を編集局所性で20%,言語基準精度で最大6.6%向上することを示した。
我々の研究は、言語表現を単に切り離すことで、下流の3D形状の編集が、たとえモデルが明示的な部分ベースの監督を与えられていなくても、より局所的なものになることを示唆している。
関連論文リスト
- CNS-Edit: 3D Shape Editing via Coupled Neural Shape Optimization [56.47175002368553]
本稿では、3次元形状編集を潜在空間で暗黙的に行うために,結合表現とニューラルボリューム最適化に基づく新しい手法を提案する。
まず,3次元形状編集を支援する結合型ニューラル形状表現を設計する。
第二に、結合したニューラルネットワークの形状最適化手順を定式化し、編集操作対象の2つの結合した成分を協調最適化する。
論文 参考訳(メタデータ) (2024-02-04T01:52:56Z) - SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance
Fields [97.63648347686456]
放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。
提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。
この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
論文 参考訳(メタデータ) (2023-12-26T02:50:42Z) - Plasticine3D: Non-rigid 3D editting with text guidance [24.75903764018142]
プラスチック3Dは、汎用的で、高忠実で、フォトリアリスティックで、制御可能な非剛性編集パイプラインである。
本研究は, 編集過程を幾何学的編集段階とテクスチャ的編集段階に分割し, より詳細な, フォトリアリスティックな結果を得る。
論文 参考訳(メタデータ) (2023-12-15T09:01:54Z) - SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds [73.91114735118298]
Shap-Editorは、新しいフィードフォワード3D編集フレームワークである。
フィードフォワード・エディター・ネットワークを構築することで,この空間で直接3D編集を行うことが可能であることを示す。
論文 参考訳(メタデータ) (2023-12-14T18:59:06Z) - Directional Texture Editing for 3D Models [51.31499400557996]
ITEM3D は textbf3D オブジェクトの自動編集のために設計されている。
拡散モデルと微分可能レンダリングを活用して、ITEM3Dはレンダリングされた画像をテキストと3D表現のブリッジとして取り込む。
論文 参考訳(メタデータ) (2023-09-26T12:01:13Z) - 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。
私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
論文 参考訳(メタデータ) (2023-07-19T10:44:44Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳(メタデータ) (2022-12-14T18:49:50Z) - 3D Neural Sculpting (3DNS): Editing Neural Signed Distance Functions [34.39282814876276]
本研究では,ニューラルネットワークを用いて表現された符号付き距離関数の対話的編集を行う手法を提案する。
メッシュのための3D彫刻ソフトウェアにインスパイアされた私たちは、直感的で将来彫刻家やデジタルアーティストが利用できるブラシベースのフレームワークを使用しています。
論文 参考訳(メタデータ) (2022-09-28T10:05:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。