論文の概要: LADIS: Language Disentanglement for 3D Shape Editing

• arxiv url: http://arxiv.org/abs/2212.05011v1
• Date: Fri, 9 Dec 2022 17:54:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 14:09:34.490661
• Title: LADIS: Language Disentanglement for 3D Shape Editing
• Title（参考訳）: LADIS:3次元形状編集のための言語歪み
• Authors: Ian Huang, Panos Achlioptas, Tianyi Zhang, Sergey Tulyakov, Minhyuk Sung, Leonidas Guibas
• Abstract要約: 本手法は,既存のSOTA手法を編集局所性において20%上回る性能を示した。 我々の研究は、言語表現を単に切り離すことで、下流の3D形状の編集が関連部品により局所的になることを示唆している。
• 参考スコア（独自算出の注目度）: 35.796594606657735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language interaction is a promising direction for democratizing 3D shape design. However, existing methods for text-driven 3D shape editing face challenges in producing decoupled, local edits to 3D shapes. We address this problem by learning disentangled latent representations that ground language in 3D geometry. To this end, we propose a complementary tool set including a novel network architecture, a disentanglement loss, and a new editing procedure. Additionally, to measure edit locality, we define a new metric that we call part-wise edit precision. We show that our method outperforms existing SOTA methods by 20% in terms of edit locality, and up to 6.6% in terms of language reference resolution accuracy. Our work suggests that by solely disentangling language representations, downstream 3D shape editing can become more local to relevant parts, even if the model was never given explicit part-based supervision.
• Abstract（参考訳）: 自然言語相互作用は、3d形状設計の民主化に有望な方向である。 しかし,既存のテキスト駆動型3次元形状編集手法では,非結合で局所的な3次元形状の編集が困難である。 我々は,3次元幾何学における基底言語における不連続な潜在表現を学習することでこの問題に対処した。 そこで本研究では,新しいネットワークアーキテクチャ,乱れ損失,新しい編集手順を含む補完的ツールセットを提案する。 さらに,編集の局所性を測定するために,パートワイズ編集精度と呼ばれる新しい指標を定義した。 本手法は,既存のSOTA手法を編集局所性で20%,言語基準精度で最大6.6%向上することを示した。 我々の研究は、言語表現を単に切り離すことで、下流の3D形状の編集が、たとえモデルが明示的な部分ベースの監督を与えられていなくても、より局所的なものになることを示唆している。

関連論文リスト

• GSEditPro: 3D Gaussian Splatting Editing with Attention-based Progressive Localization [11.170354299559998]
  本稿では,ユーザがテキストプロンプトのみを使用して,創造的で正確な編集を行うことのできる,新しい3Dシーン編集フレームワークであるGSEditProを提案する。 レンダリング中に各ガウス語に意味ラベルを追加するために、注意に基づくプログレッシブなローカライゼーションモジュールを導入する。 これにより、T2Iモデルのクロスアテンション層から派生した編集プロンプトとの関連性に基づいて、ガウスアンを分類することで、編集領域の正確なローカライズが可能になる。
  論文  参考訳（メタデータ） (2024-11-15T08:25:14Z)
• EditRoom: LLM-parameterized Graph Diffusion for Composable 3D Room Layout Editing [114.14164860467227]
  自然言語コマンドで様々なレイアウト編集を実行できるフレームワークであるEdit-Roomを提案する。 特にEditRoomは、コマンドプランニングとターゲットシーンの生成にLarge Language Models(LLM)を利用している。 既存の3Dシーンデータセットを拡張する自動パイプラインを開発し,83kの編集ペアを備えた大規模データセットであるEditRoom-DBを導入した。
  論文  参考訳（メタデータ） (2024-10-03T17:42:24Z)
• Chat-Edit-3D: Interactive 3D Scene Editing via Text Prompts [76.73043724587679]
  CE3Dと呼ばれる対話型3Dシーン編集手法を提案する。 Hash-Atlasは3Dシーンビューを表し、3Dシーンの編集を2Dアトラスイメージに転送する。 その結果、CE3Dは複数の視覚モデルを効果的に統合し、多様な視覚効果が得られることを示した。
  論文  参考訳（メタデータ） (2024-07-09T13:24:42Z)
• ParSEL: Parameterized Shape Editing with Language [17.312928067096543]
  ParSELは、自然言語から高品質な3Dアセットを制御可能な編集を可能にするシステムである。 プログラムパラメータを調整することで、ユーザーは編集の規模を正確に制御して形状のバリエーションを探索できる。
  論文  参考訳（メタデータ） (2024-05-30T17:55:46Z)
• ShapeFusion: A 3D diffusion model for localized shape editing [37.82690898932135]
  本研究では,任意の形状領域の局所的な操作を容易にする効果的な拡散マスキングトレーニング戦略を提案する。 現在の最先端技術と比較して、我々の手法は遅延コード状態に依存する方法よりも解釈可能な形状操作をもたらす。
  論文  参考訳（メタデータ） (2024-03-28T18:50:19Z)
• CNS-Edit: 3D Shape Editing via Coupled Neural Shape Optimization [56.47175002368553]
  本稿では、3次元形状編集を潜在空間で暗黙的に行うために,結合表現とニューラルボリューム最適化に基づく新しい手法を提案する。 まず,3次元形状編集を支援する結合型ニューラル形状表現を設計する。 第二に、結合したニューラルネットワークの形状最適化手順を定式化し、編集操作対象の2つの結合した成分を協調最適化する。
  論文  参考訳（メタデータ） (2024-02-04T01:52:56Z)
• SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance Fields [92.14328581392633]
  放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。 提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。 この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
  論文  参考訳（メタデータ） (2023-12-26T02:50:42Z)
• Directional Texture Editing for 3D Models [51.31499400557996]
  ITEM3D は textbf3D オブジェクトの自動編集のために設計されている。 拡散モデルと微分可能レンダリングを活用して、ITEM3Dはレンダリングされた画像をテキストと3D表現のブリッジとして取り込む。
  論文  参考訳（メタデータ） (2023-09-26T12:01:13Z)
• 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
  ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。 私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
  論文  参考訳（メタデータ） (2023-07-19T10:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。