論文の概要: Aligning Text, Images, and 3D Structure Token-by-Token

• arxiv url: http://arxiv.org/abs/2506.08002v1
• Date: Mon, 09 Jun 2025 17:59:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.106899
• Title: Aligning Text, Images, and 3D Structure Token-by-Token
• Title（参考訳）: テキスト, 画像, 3次元構造Token-by-tokenの調整
• Authors: Aadarsh Sahoo, Vansh Tibrewal, Georgia Gkioxari,
• Abstract要約: 構造化3次元シーンにおける自己回帰モデルの可能性について検討する。 言語,画像,3Dシーンを整合させる統一LLMフレームワークを提案する。 実世界の3Dオブジェクト認識タスクにおけるモデルの有効性を示す。
• 参考スコア（独自算出の注目度）: 8.521599463802637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating machines capable of understanding the world in 3D is essential in assisting designers that build and edit 3D environments and robots navigating and interacting within a three-dimensional space. Inspired by advances in language and image modeling, we investigate the potential of autoregressive models for a new modality: structured 3D scenes. To this end, we propose a unified LLM framework that aligns language, images, and 3D scenes and provide a detailed ''cookbook'' outlining critical design choices for achieving optimal training and performance addressing key questions related to data representation, modality-specific objectives, and more. We evaluate performance across four core 3D tasks -- rendering, recognition, instruction-following, and question-answering -- and four 3D datasets, synthetic and real-world. We extend our approach to reconstruct complex 3D object shapes by enriching our 3D modality with quantized shape encodings, and show our model's effectiveness on real-world 3D object recognition tasks. Project webpage: https://glab-caltech.github.io/kyvo/
• Abstract（参考訳）: 3Dで世界を理解できる機械を作ることは、デザイナーが3D環境を構築し、編集するのを助けるのに不可欠だ。 言語と画像モデリングの進歩に触発されて、我々は新しいモダリティのための自己回帰モデルの可能性を探る:構造化された3Dシーン。 この目的のために,言語,画像,3次元シーンを整合させる統一LLMフレームワークを提案し,データ表現やモダリティ固有の目的などに関連する重要な問題に対処する最適なトレーニングとパフォーマンスを実現するための重要な設計選択を概説する,詳細な「クックブック」を提供する。 レンダリング、認識、命令フォロー、質問応答の4つのコア3Dタスクと、合成と実世界の4つの3Dデータセットのパフォーマンスを評価します。 複雑な3次元オブジェクトの形状を量子化された形状符号化で強化することで再構成し、実世界の3次元オブジェクト認識タスクにおけるモデルの有効性を示す。 プロジェクトWebページ: https://glab-caltech.github.io/kyvo/

関連論文リスト

• Open-Vocabulary High-Resolution 3D (OVHR3D) Data Segmentation and Annotation Framework [1.1280113914145702]
  本研究の目的は,3次元セグメンテーションタスクのための包括的で効率的なフレームワークの設計と開発である。 このフレームワークはGrounding DINOとSegment Any Modelを統合し、3Dメッシュによる2D画像レンダリングの強化によって強化される。
  論文  参考訳（メタデータ） (2024-12-09T07:39:39Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• Chat-3D: Data-efficiently Tuning Large Language Model for Universal Dialogue of 3D Scenes [56.727745047799246]
  3Dシーンの理解は幅広い用途で注目されている。 本稿では,事前学習した3次元表現の3次元視覚的知覚能力と,高度なLCMの印象的な推論と会話能力を組み合わせたChat-3Dを提案する。
  論文  参考訳（メタデータ） (2023-08-17T03:52:15Z)
• Multi-CLIP: Contrastive Vision-Language Pre-training for Question Answering tasks in 3D Scenes [68.61199623705096]
  一般的な言語知識と視覚概念を2次元画像から3次元シーン理解に適用するためのトレーニングモデルは、研究者が最近探求を始めたばかりの有望な方向である。 そこで本研究では,モデルによる3次元シーンポイントクラウド表現の学習を可能にする,新しい3次元事前学習手法であるMulti-CLIPを提案する。
  論文  参考訳（メタデータ） (2023-06-04T11:08:53Z)
• CLIP-Guided Vision-Language Pre-training for Question Answering in 3D Scenes [68.61199623705096]
  我々は,モデルが意味論的かつ伝達可能な3Dシーンポイントクラウド表現を学習するのに役立つ,新しい3D事前学習型ビジョンランゲージを設計する。 符号化された3Dシーン特徴と対応する2D画像とテキスト埋め込みとを一致させることにより、人気のあるCLIPモデルの表現力を3Dエンコーダに注入する。 我々は,3次元視覚質問応答の下流課題に対して,我々のモデルによる3次元世界推論能力を評価する。
  論文  参考訳（メタデータ） (2023-04-12T16:52:29Z)
• OmniObject3D: Large-Vocabulary 3D Object Dataset for Realistic Perception, Reconstruction and Generation [107.71752592196138]
  OmniObject3Dを提案する。OmniObject3Dは,大規模で高品質な3Dオブジェクトを持つ大語彙の3Dオブジェクトデータセットである。 190のカテゴリーで6,000のスキャン対象からなり、一般的な2Dデータセットと共通クラスを共有する。 それぞれの3Dオブジェクトは、2Dと3Dの両方のセンサーでキャプチャされ、テクスチャメッシュ、ポイントクラウド、マルチビューレンダリング画像、複数の実写ビデオを提供する。
  論文  参考訳（メタデータ） (2023-01-18T18:14:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。