論文の概要: Neural Shape Compiler: A Unified Framework for Transforming between
Text, Point Cloud, and Program
- arxiv url: http://arxiv.org/abs/2212.12952v2
- Date: Thu, 6 Apr 2023 20:39:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-10 14:53:55.984660
- Title: Neural Shape Compiler: A Unified Framework for Transforming between
Text, Point Cloud, and Program
- Title（参考訳）: Neural Shape Compiler: テキスト、ポイントクラウド、プログラム間の変換のための統一フレームワーク
- Authors: Tiange Luo, Honglak Lee, Justin Johnson
- Abstract要約: 本稿では,一対の形状を抽象化する統一的な枠組みを提案する。
我々は,抽象変換を条件付き生成プロセスとしてモデル化するために,$textbfNeural Shape Compiler$を提案する。
Text2Shape、ShapeGlot、ABO、Genre、Program Syntheticのデータセットでは、Neural Shape Compilerが強度を示している。
- 参考スコア（独自算出の注目度）: 68.41406204648273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D shapes have complementary abstractions from low-level geometry to
part-based hierarchies to languages, which convey different levels of
information. This paper presents a unified framework to translate between pairs
of shape abstractions: $\textit{Text}$ $\Longleftrightarrow$ $\textit{Point
Cloud}$ $\Longleftrightarrow$ $\textit{Program}$. We propose $\textbf{Neural
Shape Compiler}$ to model the abstraction transformation as a conditional
generation process. It converts 3D shapes of three abstract types into unified
discrete shape code, transforms each shape code into code of other abstract
types through the proposed $\textit{ShapeCode Transformer}$, and decodes them
to output the target shape abstraction. Point Cloud code is obtained in a
class-agnostic way by the proposed $\textit{Point}$VQVAE. On Text2Shape,
ShapeGlot, ABO, Genre, and Program Synthetic datasets, Neural Shape Compiler
shows strengths in $\textit{Text}$ $\Longrightarrow$ $\textit{Point Cloud}$,
$\textit{Point Cloud}$ $\Longrightarrow$ $\textit{Text}$, $\textit{Point
Cloud}$ $\Longrightarrow$ $\textit{Program}$, and Point Cloud Completion tasks.
Additionally, Neural Shape Compiler benefits from jointly training on all
heterogeneous data and tasks.
- Abstract（参考訳）: 3次元形状は、低レベルの幾何学から部分ベースの階層から言語への相補的な抽象化を持ち、異なるレベルの情報を伝える。
本稿では,一対の形状抽象化を変換する統一フレームワークを提案する。 $\textit{Text}$ $\Longleftrightarrow$ $\textit{Point Cloud}$ $\Longleftrightarrow$ $\textit{Program}$。
抽象変換を条件付き生成プロセスとしてモデル化するために,$\textbf{neural shape compiler}$を提案する。
3つの抽象型の3次元形状を統一された離散形状コードに変換し、提案された$\textit{ShapeCode Transformer}$を通じて各形状コードを他の抽象型のコードに変換する。
point cloudコードは、$\textit{point}$vqvaeによってクラスに依存しない方法で取得される。
Text2Shape、ShapeGlot、ABO、Genre、Program Syntheticのデータセットでは、Neural Shape Compilerは$\textit{Text}$ $\Longrightarrow$ $\textit{Point Cloud}$, $\textit{Point Cloud}$ $\Longrightarrow$ $\textit{Point Cloud}$, $\textit{Point Cloud}$ $\Longrightarrow$ $\textit{Program}$, Point Cloud Completionタスクの長所を示している。
さらに、Neural Shape Compilerは、すべての異種データとタスクを共同でトレーニングすることの恩恵を受ける。
関連論文リスト
- HyperSDFusion: Bridging Hierarchical Structures in Language and Geometry for Enhanced 3D Text2Shape Generation [55.95329424826433]
テキストから3次元形状を生成する2分岐拡散モデルHyperSDFusionを提案する。
双曲空間におけるテキストと3次元形状の階層的表現を学習する。
本手法は,テキスト・ツー・シェイプ生成のための双曲的階層表現を初めて探求する手法である。
論文 参考訳（メタデータ） (2024-03-01T08:57:28Z) - PatchRD: Detail-Preserving Shape Completion by Learning Patch Retrieval
and Deformation [59.70430570779819]
本稿では,3次元形状の欠落領域の幾何学的詳細化に焦点を当てたデータ駆動型形状補完手法を提案する。
私たちの重要な洞察は、部分的な入力から完全な欠落したリージョンへのパッチのコピーとデフォームです。
部分的な入力からパッチを抽出することで繰り返しパターンを活用し、ニューラルネットワークを用いてグローバルな構造的先行点を学習し、検索と変形の手順を導出する。
論文 参考訳（メタデータ） (2022-07-24T18:59:09Z) - ShapeCrafter: A Recursive Text-Conditioned 3D Shape Generation Model [16.431391515731367]
テキスト条件付き3D形状を生成する既存の方法は、テキストプロンプト全体を消費し、単一のステップで3D形状を生成する。
初期フレーズに条件付き3次元形状分布を生成する手法を提案する。
結果から,本手法はテキスト記述と整合した形状を生成でき,さらに多くのフレーズが追加されるにつれて形が徐々に進化していくことが明らかとなった。
論文 参考訳（メタデータ） (2022-07-19T17:59:01Z) - Towards Implicit Text-Guided 3D Shape Generation [81.22491096132507]
本研究は,テキストから3次元形状を生成するという課題について考察する。
テキスト記述にマッチする色で高忠実な形状を生成できるテキスト誘導型3次元形状生成のための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-03-28T10:20:03Z) - SPAGHETTI: Editing Implicit Shapes Through Part Aware Generation [85.09014441196692]
本稿では, $mathbfE$diting $mathbfI$mplicit $mathbfS$hapes $mathbfT$hroughを紹介する。
我々のアーキテクチャは、形状セグメントを変換し、補間し、組み合わせることで、暗黙の形状の操作を可能にする。
論文 参考訳（メタデータ） (2022-01-31T12:31:41Z) - Parts2Words: Learning Joint Embedding of Point Clouds and Texts by
Bidirectional Matching between Parts and Words [32.47815081044594]
テキストからの形状と単語の双方向マッチングにより,点雲とテキストの結合埋め込みを学習することを提案する。
具体的には、まず点雲を部品に分割し、次に最適化された特徴空間内の部品と単語を一致させるために最適な輸送手法を利用する。
実験により,本手法はマルチモーダル検索タスクにおけるSOTAの精度を大幅に向上することを示した。
論文 参考訳（メタデータ） (2021-07-05T08:55:34Z) - ShapeAssembly: Learning to Generate Programs for 3D Shape Structure
Synthesis [38.27280837835169]
本研究では,3次元形状構造のためのドメイン固有の「アセンブリ言語」であるShapeAssemblyを提案する。
PartNetデータセットの既存の形状構造からShapeAssemblyプログラムを抽出する方法を示す。
生成したプログラムから出力される形状を、他の最近の形状構造モデルと比較することにより、我々のアプローチを評価する。
論文 参考訳（メタデータ） (2020-09-17T02:26:45Z) - PT2PC: Learning to Generate 3D Point Cloud Shapes from Part Tree
Conditions [66.87405921626004]
本稿では,シンボル部分木表現から3次元形状点雲の幾何を生成するという新しい問題について検討する。
構造的および幾何学的要因を乱す条件付きGAN "part tree"-to-point cloud"モデル(PT2PC)を提案する。
論文 参考訳（メタデータ） (2020-03-19T08:27:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。