論文の概要: 3D Shape Tokenization

• arxiv url: http://arxiv.org/abs/2412.15618v1
• Date: Fri, 20 Dec 2024 07:22:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:22:58.560613
• Title: 3D Shape Tokenization
• Title（参考訳）: 3次元形状トークン化
• Authors: Jen-Hao Rick Chang, Yuyang Wang, Miguel Angel Bautista Martin, Jiatao Gu, Josh Susskind, Oncel Tuzel,
• Abstract要約: 連続的でコンパクトで、機械学習モデルに組み込むのが容易な3D表現であるShape Tokensを紹介します。 形状トークンは、3次元フローマッチングモデルにおける形状情報を表す条件ベクトルとして機能する。 様々な機械学習モデルにShape Tokensをアタッチすることで、新しい形状を生成し、画像を3Dに変換し、テキストや画像と3D形状をアライメントし、可変、ユーザ指定、解像度で直接形状をレンダリングすることができる。
• 参考スコア（独自算出の注目度）: 38.408642959154925
• License:
• Abstract: We introduce Shape Tokens, a 3D representation that is continuous, compact, and easy to incorporate into machine learning models. Shape Tokens act as conditioning vectors that represent shape information in a 3D flow-matching model. The flow-matching model is trained to approximate probability density functions corresponding to delta functions concentrated on the surfaces of shapes in 3D. By attaching Shape Tokens to various machine learning models, we can generate new shapes, convert images to 3D, align 3D shapes with text and images, and render shapes directly at variable, user specified, resolution. Moreover, Shape Tokens enable a systematic analysis of geometric properties such as normal, density, and deformation field. Across all tasks and experiments, utilizing Shape Tokens demonstrate strong performance compared to existing baselines.
• Abstract（参考訳）: 連続的でコンパクトで、機械学習モデルに組み込むのが容易な3D表現であるShape Tokensを紹介します。 形状トークンは、3次元フローマッチングモデルにおける形状情報を表す条件ベクトルとして機能する。 流れマッチングモデルは3次元の形状表面に集中するデルタ関数に対応する確率密度関数を近似するために訓練される。 様々な機械学習モデルにShape Tokensをアタッチすることで、新しい形状を生成し、画像を3Dに変換し、テキストや画像と3D形状をアライメントし、可変、ユーザ指定、解像度で直接形状をレンダリングすることができる。 さらに、形状トークンは、正規、密度、変形場といった幾何学的性質の体系的な解析を可能にする。 すべてのタスクや実験において、シェープトークンの利用は、既存のベースラインと比較して強いパフォーマンスを示している。

関連論文リスト

• NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
  3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。 既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。 本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T04:09:34Z)
• Explorable Mesh Deformation Subspaces from Unstructured Generative Models [53.23510438769862]
  3次元形状の深い生成モデルは、しばしば潜在的な変動を探索するために使用できる連続的な潜伏空間を特徴付ける。 本研究では,手軽に探索可能な2次元探索空間から事前学習された生成モデルのサブ空間へのマッピングを構築することで,与えられたランドマーク形状の集合間のバリエーションを探索する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T18:53:57Z)
• Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation [47.945556996219295]
  本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。 我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
  論文  参考訳（メタデータ） (2023-06-29T17:17:57Z)
• 3D VR Sketch Guided 3D Shape Prototyping and Exploration [108.6809158245037]
  本稿では,3次元VRスケッチを条件として行う3次元形状生成ネットワークを提案する。 スケッチは初心者がアートトレーニングなしで作成していると仮定する。 本手法は,オリジナルスケッチの構造に整合した複数の3次元形状を生成する。
  論文  参考訳（メタデータ） (2023-06-19T10:27:24Z)
• Learning to Generate 3D Shapes from a Single Example [28.707149807472685]
  本稿では,入力形状の幾何学的特徴を空間的範囲にわたって捉えるために,マルチスケールのGANモデルを提案する。 我々は、外部の監督や手動のアノテーションを必要とせずに、基準形状のボクセルピラミッドで生成モデルを訓練する。 結果の形状は異なるスケールで変化を示し、同時に基準形状のグローバルな構造を保持する。
  論文  参考訳（メタデータ） (2022-08-05T01:05:32Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• ShapeFormer: Transformer-based Shape Completion via Sparse Representation [41.33457875133559]
  本稿では,不完全でノイズの多い点雲に条件付きオブジェクト完了の分布を生成するネットワークであるShapeFormerを提案する。 結果の分布をサンプリングして、入力に忠実な状態で、それぞれがもっともらしい形状の詳細を示す、可能性のある完了を生成する。
  論文  参考訳（メタデータ） (2022-01-25T13:58:30Z)
• Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence [30.849927968528238]
  本稿では,カテゴリの3次元形状をモデル化するための新しいDeformed Implicit Field表現を提案する。 我々のニューラルネットワーク、DIF-Netは、カテゴリに属する3Dオブジェクトの形状潜在空間とこれらのフィールドを共同で学習する。 実験により、DIF-Netは高忠実度3次元形状を生成するだけでなく、異なる形状の高品位密度対応を生成することが示された。
  論文  参考訳（メタデータ） (2020-11-27T10:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。