論文の概要: LLaVA$^3$: Representing 3D Scenes like a Cubist Painter to Boost 3D Scene Understanding of VLMs

• arxiv url: http://arxiv.org/abs/2511.16454v1
• Date: Thu, 20 Nov 2025 15:22:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.692741
• Title: LLaVA$^3$: Representing 3D Scenes like a Cubist Painter to Boost 3D Scene Understanding of VLMs
• Title（参考訳）: LLaVA$^3$:立方体画家のような3Dシーンを表現してVLMの3Dシーン理解を促進する
• Authors: Doriand Petit, Steve Bourgeois, Vincent Gay-Bellile, Florian Chabot, Loïc Barthe,
• Abstract要約: LLaVA$3$(LLaVA-Cube)は視覚言語モデルの3次元シーン理解能力を向上させる新しい手法である。 キュービストの画家に触発されて、各物体の全方向の視覚表現を通して、VLMの3次元シーンを記述することを提案する。
• 参考スコア（独自算出の注目度）: 4.332158627306896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing a multi-modal language model capable of understanding 3D scenes remains challenging due to the limited availability of 3D training data, in contrast to the abundance of 2D datasets used for vision-language models (VLM). As an alternative, we introduce LLaVA$^3$ (pronounced LLaVA-Cube), a novel method that improves the 3D scene understanding capabilities of VLM using only multi-view 2D images and without any fine-tuning. Inspired by Cubist painters, who represented multiple viewpoints of a 3D object within a single picture, we propose to describe the 3D scene for the VLM through omnidirectional visual representations of each object. These representations are derived from an intermediate multi-view 3D reconstruction of the scene. Extensive experiments on 3D VQA and 3D language grounding show that our approach outperforms previous 2D-based VLM solutions.
• Abstract（参考訳）: 視覚言語モデル(VLM)に使用される2Dデータセットの多さとは対照的に、3Dトレーニングデータの可用性が限られているため、3Dシーンの理解が可能なマルチモーダル言語モデルの開発は依然として困難である。 LLaVA$^3$(LLaVA-Cube)は,マルチビュー2D画像のみを用いて,微調整なしでVLMの3次元シーン理解能力を向上する手法である。 1枚の絵の中の3Dオブジェクトの複数の視点を表現したキュービスト画家に触発され、各オブジェクトの全方向の視覚的表現を通して、VLMの3Dシーンを記述することを提案する。 これらの表現は、シーンの中間的なマルチビュー3D再構成から導かれる。 3次元VQAおよび3次元言語接地実験により,本手法が従来の2次元VLMソリューションより優れていることが示された。

関連論文リスト

• Does Your 3D Encoder Really Work? When Pretrain-SFT from 2D VLMs Meets 3D VLMs [72.11701578308804]
  本稿では,最近の3次元視覚言語モデルを3次元オブジェクト中心,2次元イメージベース,および3次元シーン中心のアプローチに分類する。 3Dシーン中心のVLMと2Dシーン中心のVLMのアーキテクチャ的類似性にもかかわらず、最新の3Dオブジェクト中心と2Dイメージベースアプローチと比較して比較的低い性能を示した。 本研究は,これらのモデルが多モードアライメント機能を有する一方で,言語的手がかりに過度に頼り,頻繁な回答に過度に適合する傾向があることを示唆している。
  論文  参考訳（メタデータ） (2025-06-05T17:56:12Z)
• Ross3D: Reconstructive Visual Instruction Tuning with 3D-Awareness [73.72335146374543]
  本稿では,3次元視覚指導を訓練手順に組み込んだ3次元視覚指導法(Ross3D)について紹介する。 Ross3Dは様々な3Dシーン理解ベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-04-02T16:59:55Z)
• 3DMIT: 3D Multi-modal Instruction Tuning for Scene Understanding [12.823274886850697]
  我々は3DMITという新しい高速なプロンプトチューニングパラダイムを導入する。 このパラダイムは、3Dシーンと言語間のアライメントステージを排除し、命令プロンプトを3Dモダリティ情報で拡張する。 本研究では,3次元シーン領域における多様なタスクにまたがる手法の有効性を評価する。
  論文  参考訳（メタデータ） (2024-01-06T12:20:18Z)
• 3D-LLM: Injecting the 3D World into Large Language Models [60.43823088804661]
  大規模言語モデル (LLM) と視覚言語モデル (VLM) は、常識推論のような複数のタスクで優れていることが証明されている。 本稿では,大規模言語モデルに3Dワールドを注入し,新しい3D-LLMのファミリーを導入することを提案する。 具体的には、3D-LLMは3Dポイントクラウドとその機能を入力として取り込んで、さまざまな3D関連タスクを実行することができる。
  論文  参考訳（メタデータ） (2023-07-24T17:59:02Z)
• Multi-CLIP: Contrastive Vision-Language Pre-training for Question Answering tasks in 3D Scenes [68.61199623705096]
  一般的な言語知識と視覚概念を2次元画像から3次元シーン理解に適用するためのトレーニングモデルは、研究者が最近探求を始めたばかりの有望な方向である。 そこで本研究では,モデルによる3次元シーンポイントクラウド表現の学習を可能にする,新しい3次元事前学習手法であるMulti-CLIPを提案する。
  論文  参考訳（メタデータ） (2023-06-04T11:08:53Z)
• CLIP-Guided Vision-Language Pre-training for Question Answering in 3D Scenes [68.61199623705096]
  我々は,モデルが意味論的かつ伝達可能な3Dシーンポイントクラウド表現を学習するのに役立つ,新しい3D事前学習型ビジョンランゲージを設計する。 符号化された3Dシーン特徴と対応する2D画像とテキスト埋め込みとを一致させることにより、人気のあるCLIPモデルの表現力を3Dエンコーダに注入する。 我々は,3次元視覚質問応答の下流課題に対して,我々のモデルによる3次元世界推論能力を評価する。
  論文  参考訳（メタデータ） (2023-04-12T16:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。