論文の概要: Towards Scalable Spatial Intelligence via 2D-to-3D Data Lifting

• arxiv url: http://arxiv.org/abs/2507.18678v1
• Date: Thu, 24 Jul 2025 14:53:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-28 16:16:48.703307
• Title: Towards Scalable Spatial Intelligence via 2D-to-3D Data Lifting
• Title（参考訳）: 2D-to-3Dデータリフティングによるスケーラブルな空間知能の実現に向けて
• Authors: Xingyu Miao, Haoran Duan, Quanhao Qian, Jiuniu Wang, Yang Long, Ling Shao, Deli Zhao, Ran Xu, Gongjie Zhang,
• Abstract要約: 単一ビュー画像を包括的・スケール的・外観リアルな3D表現に変換するスケーラブルなパイプラインを提案する。 本手法は,画像の膨大な保存と空間的シーン理解への需要の増大とのギャップを埋めるものである。 画像から精度の高い3Dデータを自動的に生成することにより,データ収集コストを大幅に削減し,空間知性を向上するための新たな道を開く。
• 参考スコア（独自算出の注目度）: 64.64738535860351
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Spatial intelligence is emerging as a transformative frontier in AI, yet it remains constrained by the scarcity of large-scale 3D datasets. Unlike the abundant 2D imagery, acquiring 3D data typically requires specialized sensors and laborious annotation. In this work, we present a scalable pipeline that converts single-view images into comprehensive, scale- and appearance-realistic 3D representations - including point clouds, camera poses, depth maps, and pseudo-RGBD - via integrated depth estimation, camera calibration, and scale calibration. Our method bridges the gap between the vast repository of imagery and the increasing demand for spatial scene understanding. By automatically generating authentic, scale-aware 3D data from images, we significantly reduce data collection costs and open new avenues for advancing spatial intelligence. We release two generated spatial datasets, i.e., COCO-3D and Objects365-v2-3D, and demonstrate through extensive experiments that our generated data can benefit various 3D tasks, ranging from fundamental perception to MLLM-based reasoning. These results validate our pipeline as an effective solution for developing AI systems capable of perceiving, understanding, and interacting with physical environments.
• Abstract（参考訳）: 空間知性はAIの変革的フロンティアとして浮上しているが、大規模な3Dデータセットの不足に制約されている。 豊富な2D画像とは異なり、3Dデータを取得するには、通常は特殊なセンサーと精巧なアノテーションが必要である。 本研究では,一眼レフ画像から点雲,カメラポーズ,奥行きマップ,擬似RGBDなど,総合的・大規模・リアルな3D表現へと,統合的な深度推定,カメラキャリブレーション,スケールキャリブレーションを通じて変換するスケーラブルなパイプラインを提案する。 本手法は,画像の膨大な保存と空間的シーン理解への需要の増大とのギャップを埋めるものである。 画像から精度の高い3Dデータを自動的に生成することにより,データ収集コストを大幅に削減し,空間知性を向上するための新たな道を開く。 我々はCOCO-3DとObjects365-v2-3Dという2つの生成された空間データセットを公開し、我々の生成したデータが基本的な知覚からMLLMに基づく推論まで、様々な3Dタスクに有効であることを示す広範な実験を通して実証した。 これらの結果は、物理的な環境を知覚し、理解し、相互作用できるAIシステムを開発するための効果的なソリューションとしてパイプラインを検証する。

関連論文リスト

• Gaussian Splatting is an Effective Data Generator for 3D Object Detection [12.882763124978535]
  ドライビングシーンにおける3次元物体配置のためのガウススプラッティングに基づく3次元再構成の最近の進歩を利用する。 提案手法では, 3次元オブジェクトを直接再構成した空間に配置し, 幾何変換を明示的に課す。 これにより、オブジェクト配置の物理的妥当性と高精度な3Dポーズと位置アノテーションの両方が保証される。
  論文  参考訳（メタデータ） (2025-04-23T14:10:36Z)
• ImOV3D: Learning Open-Vocabulary Point Clouds 3D Object Detection from Only 2D Images [19.02348585677397]
  Open-vocabulary 3D object Detection (OV-3Det) は、トレーニングフェーズ中にラベル付けされたベースカテゴリの限られた数を超えて一般化することを目的としている。 最大のボトルネックは、注釈付き3Dデータの不足であるのに対して、2D画像データセットは豊富で豊富な注釈付きである。 画像と点雲(PC)の両方を含む擬似マルチモーダル表現を利用してモダリティギャップを埋める新しいフレームワークImOV3Dを提案する。
  論文  参考訳（メタデータ） (2024-10-31T15:02:05Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• Implicit-Zoo: A Large-Scale Dataset of Neural Implicit Functions for 2D Images and 3D Scenes [65.22070581594426]
  Implicit-Zoo"は、この分野の研究と開発を容易にするために、数千のGPUトレーニング日を必要とする大規模なデータセットである。 1)トランスモデルのトークン位置を学習すること、(2)NeRFモデルに関して直接3Dカメラが2D画像のポーズを取ること、である。 これにより、画像分類、セマンティックセグメンテーション、および3次元ポーズ回帰の3つのタスクすべてのパフォーマンスが向上し、研究のための新たな道が開けることになる。
  論文  参考訳（メタデータ） (2024-06-25T10:20:44Z)
• Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
  本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。 既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-08-21T10:38:32Z)
• 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
  本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
  論文  参考訳（メタデータ） (2023-03-18T05:51:05Z)
• Aerial Monocular 3D Object Detection [67.20369963664314]
  DVDETは2次元画像空間と3次元物理空間の両方で空中単分子3次元物体検出を実現するために提案される。 高度視差変形問題に対処するため,新しい測地変形変換モジュールを提案する。 より多くの研究者がこの領域を調査するよう促すため、データセットと関連するコードをリリースします。
  論文  参考訳（メタデータ） (2022-08-08T08:32:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。