論文の概要: ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding

• arxiv url: http://arxiv.org/abs/2506.01853v1
• Date: Mon, 02 Jun 2025 16:40:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.613831
• Title: ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding
• Title（参考訳）: ShapeLLM-Omni: 3D生成と理解のためのネイティブマルチモーダルLCM
• Authors: Junliang Ye, Zhengyi Wang, Ruowen Zhao, Shenghao Xie, Jun Zhu,
• Abstract要約: ShapeLLM-Omniは、任意のシーケンスで3Dのアセットとテキストを理解し、生成できる3Dの大規模言語モデルである。 3D対応離散トークンに基づいて、3D-Alpacaという大規模連続トレーニングデータセットを革新的に構築する。 我々の研究は、基本的な3D機能を備えたマルチモーダルモデルを効果的に拡張する試みであり、将来の3DネイティブAIの研究に寄与する。
• 参考スコア（独自算出の注目度）: 16.95099884066268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the powerful text-to-image capabilities of ChatGPT-4o have led to growing appreciation for native multimodal large language models. However, its multimodal capabilities remain confined to images and text. Yet beyond images, the ability to understand and generate 3D content is equally crucial. To address this gap, we propose ShapeLLM-Omni-a native 3D large language model capable of understanding and generating 3D assets and text in any sequence. First, we train a 3D vector-quantized variational autoencoder (VQVAE), which maps 3D objects into a discrete latent space to achieve efficient and accurate shape representation and reconstruction. Building upon the 3D-aware discrete tokens, we innovatively construct a large-scale continuous training dataset named 3D-Alpaca, encompassing generation, comprehension, and editing, thus providing rich resources for future research and training. Finally, by performing instruction-based training of the Qwen-2.5-vl-7B-Instruct model on the 3D-Alpaca dataset. Our work provides an effective attempt at extending multimodal models with basic 3D capabilities, which contributes to future research in 3D-native AI. Project page: https://github.com/JAMESYJL/ShapeLLM-Omni
• Abstract（参考訳）: 近年,ChatGPT-4oの強力なテキスト・ツー・イメージ機能により,ネイティブなマルチモーダルな大規模言語モデルに対する評価が高まっている。 しかし、そのマルチモーダル機能は画像やテキストに限られている。 しかし、画像以外にも、3Dコンテンツを理解して生成する能力は不可欠だ。 このギャップに対処するために、任意のシーケンスで3Dアセットとテキストを理解・生成できるShapeLLM-Omni-ネイティブな3D大規模言語モデルを提案する。 まず、3Dベクトル量子化変分オートエンコーダ(VQVAE)を訓練し、3Dオブジェクトを離散潜在空間にマッピングし、効率的かつ正確な形状表現と再構成を実現する。 3D-Alpacaと呼ばれる大規模連続トレーニングデータセットを革新的に構築し、生成、理解、編集を包含し、将来の研究とトレーニングに豊富なリソースを提供する。 最後に、3D-Alpacaデータセット上でQwen-2.5-vl-7B-Instructモデルの命令ベーストレーニングを実行する。 我々の研究は、基本的な3D機能を備えたマルチモーダルモデルを効果的に拡張する試みであり、将来の3DネイティブAIの研究に寄与する。 プロジェクトページ:https://github.com/JAMESYJL/ShapeLLM-Omni

関連論文リスト

• UniGS: Unified Language-Image-3D Pretraining with Gaussian Splatting [68.37013525040891]
  マルチモーダルプレトレーニングに3Dガウススティング(3DGS)を組み込んだUniGSを提案する。 より汎用的で強力なマルチモーダル表現の学習におけるUniGSの有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-25T05:10:22Z)
• 3UR-LLM: An End-to-End Multimodal Large Language Model for 3D Scene Understanding [49.15555885075644]
  オープンソースの2D MLLMとLCMをベースとしたパイプラインを開発し,高品質な3Dテキストペアを生成する。 本稿では,3次元シーンの正確な解釈を目的としたエンドツーエンド3次元MLLMである3UR-LLMモデルを紹介する。
  論文  参考訳（メタデータ） (2025-01-14T03:50:23Z)
• TAR3D: Creating High-Quality 3D Assets via Next-Part Prediction [137.34863114016483]
  TAR3Dは、3D対応ベクトル量子可変オートエンコーダ(VQ-VAE)と生成事前学習トランス(GPT)で構成される新しいフレームワークである。 TAR3Dは,テキスト・ツー・3Dタスクや画像・ツー・3Dタスクにおいて,既存の手法よりも優れた生成品質が得られることを示す。
  論文  参考訳（メタデータ） (2024-12-22T08:28:20Z)
• Structured 3D Latents for Scalable and Versatile 3D Generation [28.672494137267837]
  汎用的で高品質な3Dアセット作成のための新しい3D生成手法を提案する。 基本となるのは、異なる出力フォーマットへのデコードを可能にする、構造化されたLATent表現である。 これは、疎人口の少ない3Dグリッドと、強力な視覚基盤モデルから抽出された濃密な多視点視覚特徴を統合することで実現される。
  論文  参考訳（メタデータ） (2024-12-02T13:58:38Z)
• SAR3D: Autoregressive 3D Object Generation and Understanding via Multi-scale 3D VQVAE [28.597376637565123]
  本稿では,多次元ベクトル量子化変分オートエンコーダ(VQVAE)を利用して3Dオブジェクトをトークン化する新しいフレームワークであるScale AutoRegressive 3D(SAR3D)を紹介する。 次の単一トークンの代わりにマルチスケールの潜在表現で次のスケールを予測することで、SAR3Dは生成時間を著しく短縮する。 実験の結果,SAR3Dは現行の3D生成法よりも高速かつ高品質であることがわかった。
  論文  参考訳（メタデータ） (2024-11-25T19:00:05Z)
• 3D-LLM: Injecting the 3D World into Large Language Models [60.43823088804661]
  大規模言語モデル (LLM) と視覚言語モデル (VLM) は、常識推論のような複数のタスクで優れていることが証明されている。 本稿では,大規模言語モデルに3Dワールドを注入し,新しい3D-LLMのファミリーを導入することを提案する。 具体的には、3D-LLMは3Dポイントクラウドとその機能を入力として取り込んで、さまざまな3D関連タスクを実行することができる。
  論文  参考訳（メタデータ） (2023-07-24T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。