論文の概要: Omni123: Exploring 3D Native Foundation Models with Limited 3D Data by Unifying Text to 2D and 3D Generation

• arxiv url: http://arxiv.org/abs/2604.02289v1
• Date: Thu, 02 Apr 2026 17:29:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.969585
• Title: Omni123: Exploring 3D Native Foundation Models with Limited 3D Data by Unifying Text to 2D and 3D Generation
• Title（参考訳）: Omni123: テキストを2Dと3D生成に統一することで、限られた3Dデータによる3Dネイティブファンデーションモデルを探索する
• Authors: Chongjie Ye, Cheng Cao, Chuanyu Pan, Yiming Hao, Yihao Zhi, Yuanming Hu, Xiaoguang Han,
• Abstract要約: Omni123は、テキストから2D、テキストから3D生成を単一の自動回帰フレームワークに統合する3Dネイティブ基盤モデルである。 実験により、Omni123はテキストガイドによる3D生成と編集を大幅に改善し、マルチモーダルな3Dワールドモデルへのスケーラブルなパスを示す。
• 参考スコア（独自算出の注目度）: 15.607138815246387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent multimodal large language models have achieved strong performance in unified text and image understanding and generation, yet extending such native capability to 3D remains challenging due to limited data. Compared to abundant 2D imagery, high-quality 3D assets are scarce, making 3D synthesis under-constrained. Existing methods often rely on indirect pipelines that edit in 2D and lift results into 3D via optimization, sacrificing geometric consistency. We present Omni123, a 3D-native foundation model that unifies text-to-2D and text-to-3D generation within a single autoregressive framework. Our key insight is that cross-modal consistency between images and 3D can serve as an implicit structural constraint. By representing text, images, and 3D as discrete tokens in a shared sequence space, the model leverages abundant 2D data as a geometric prior to improve 3D representations. We introduce an interleaved X-to-X training paradigm that coordinates diverse cross-modal tasks over heterogeneous paired datasets without requiring fully aligned text-image-3D triplets. By traversing semantic-visual-geometric cycles (e.g., text to image to 3D to image) within autoregressive sequences, the model jointly enforces semantic alignment, appearance fidelity, and multi-view geometric consistency. Experiments show that Omni123 significantly improves text-guided 3D generation and editing, demonstrating a scalable path toward multimodal 3D world models.
• Abstract（参考訳）: 最近のマルチモーダルな大規模言語モデルは、統一されたテキストと画像の理解と生成において強力なパフォーマンスを実現しているが、そのようなネイティブ機能を3Dに拡張することは、限られたデータのために依然として困難である。 豊富な2D画像と比較すると、高品質な3Dアセットは乏しく、3D合成は制約下にある。 既存の方法は、しばしば2Dで編集し、その結果を最適化して3Dに上げる間接パイプラインに依存し、幾何的一貫性を犠牲にする。 Omni123は、テキストから2D、テキストから3D生成を単一の自動回帰フレームワークに統合する3Dネイティブ基盤モデルである。 私たちの重要な洞察は、画像と3D間の相互整合性は暗黙的な構造的制約として機能するということです。 テキスト、画像、および3Dを共有シーケンス空間内の離散トークンとして表現することにより、モデルは、豊富な2Dデータを幾何学的に利用し、3D表現を改善する。 我々は、完全に整列したテキストイメージ3D三脚を必要とせず、異種ペアデータセット上で多様なクロスモーダルタスクを協調するインターリーブX-to-Xトレーニングパラダイムを導入する。 自己回帰的シーケンス内で意味-視覚-幾何学的サイクル(例えば、画像から3Dへのテキスト)をトラバースすることにより、モデルはセマンティックアライメント、外観の忠実さ、多視点幾何整合性を共同で実施する。 実験により、Omni123はテキストガイドによる3D生成と編集を大幅に改善し、マルチモーダルな3Dワールドモデルへのスケーラブルなパスを示す。

関連論文リスト

• Unifying 2D and 3D Vision-Language Understanding [85.84054120018625]
  2次元および3次元視覚言語学習のための統一アーキテクチャUniVLGを紹介する。 UniVLGは、既存の2D中心モデルと、エンボディシステムで利用可能なリッチな3Dセンサーデータのギャップを埋める。
  論文  参考訳（メタデータ） (2025-03-13T17:56:22Z)
• GSV3D: Gaussian Splatting-based Geometric Distillation with Stable Video Diffusion for Single-Image 3D Object Generation [24.255633621887988]
  本研究では,2次元拡散モデルの暗黙的3次元推論能力を活用しながら3次元の整合性を確保する手法を提案する。 具体的には、提案したガウススプラッティングデコーダは、SV3D潜在出力を明示的な3D表現に変換することで、3D一貫性を強制する。 その結果,高品質でマルチビュー一貫性のある画像と正確な3Dモデルが同時に生成されることがわかった。
  論文  参考訳（メタデータ） (2025-03-08T09:10:31Z)
• Geometry Image Diffusion: Fast and Data-Efficient Text-to-3D with Image-Based Surface Representation [2.3213238782019316]
  GIMDiffusionは、幾何学画像を利用して2次元画像を用いて3次元形状を効率よく表現する新しいテキスト・ツー・3Dモデルである。 安定拡散のような既存のテキスト・ツー・イメージモデルのリッチな2次元先行モデルを利用する。 簡単に言うと、GIMDiffusionは現行のText-to-Imageモデルに匹敵する速度で3Dアセットを生成することができる。
  論文  参考訳（メタデータ） (2024-09-05T17:21:54Z)
• Deep Geometric Moments Promote Shape Consistency in Text-to-3D Generation [27.43973967994717]
  MT3Dは高忠実度3Dオブジェクトを利用して視点バイアスを克服するテキスト・ツー・3D生成モデルである。 3Dアセットから幾何学的詳細を取り入れることで、MT3Dは多様で幾何学的に一貫したオブジェクトを作成することができる。
  論文  参考訳（メタデータ） (2024-08-12T06:25:44Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• Sherpa3D: Boosting High-Fidelity Text-to-3D Generation via Coarse 3D Prior [52.44678180286886]
  2次元拡散モデルでは、3次元データなしで優れた一般化と豊富な詳細を実現する蒸留手法が見つかる。 提案するSherpa3Dは,高忠実度,一般化性,幾何整合性を同時に実現する新しいテキスト・ツー・3Dフレームワークである。
  論文  参考訳（メタデータ） (2023-12-11T18:59:18Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。