Fugu-MT 論文翻訳(概要): Beyond Single Object: Learning 3D Relations with Large Language Models

論文の概要: Beyond Single Object: Learning 3D Relations with Large Language Models

arxiv url: http://arxiv.org/abs/2608.15710v1
Date: Sun, 16 Aug 2026 12:29:10 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-18 19:59:03.398984
Title: Beyond Single Object: Learning 3D Relations with Large Language Models
Title（参考訳）: 単一オブジェクトを超えて:大規模言語モデルによる3D関係の学習
Abstract要約: 既存の3D-LLMは、詳細なオブジェクト間比較に苦しむ、単一オブジェクト/シーン記述に焦点を当てている。 3つのコンポーネントを持つ複数のオブジェクトをまたいだ詳細なオブジェクトレベルの推論のためのフレームワークを提案する。
参考スコア（独自算出の注目度）: 21.825784711012172
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We address a fundamental gap in 3D-LLMs: existing models focus on single-object/scene description, struggling with detailed, inter-object comparison. We propose a framework for detailed object-level reasoning across multiple objects with three components: (1) MO3D (Multi-Object in 3D), an instruction dataset requiring fine-grained multi-object comparison; (2) Multi-3DLLM, using a minimal Patch-Interaction Transformer (PIT) that models inter-/intra-object relationships while preserving local geometry; (3) Mini-apps, two application-driven benchmarks (Shape Mating, Change Captioning) that probe geometric understanding for practical use. Recent 3D-LLMs and 2D-VLMs perform poorly on these tasks, lacking both comparison-centric design and geometric awareness. In contrast, Multi-3DLLM trained on our mixture data learns geometric reasoning, surpasses all baselines on MO3D, and provides positive transfer to single-object classification.
Abstract（参考訳）: 既存のモデルは、詳細なオブジェクト間比較に苦しむ単一オブジェクト/シーン記述に焦点を当てている。マルチオブジェクト比較を必要とする命令データセットであるMO3D(Multi-Object in 3D)、局所幾何学を保存しながらオブジェクト間の関係をモデル化する最小のPIT(Patch-Interaction Transformer)を使用するMulti-3DLLM、実用のために幾何学的理解を探索するMini-apps、2つのアプリケーション駆動ベンチマーク(Shape Mating, Change Captioning)を提案する。最近の3D-LLMと2D-VLMは、比較中心の設計と幾何学的認識の両方が欠如している。対照的に、Multi-3DLLMは、我々の混合データに基づいて訓練され、幾何学的推論を学び、MO3Dのすべてのベースラインを超え、単一対象分類への正の移行を提供する。

関連論文リスト

PAR3D: A Unified 3D-MLLM with Part-Aware Representation for Scene Understanding [41.210392758568126]
PAR3Dは、モデルが3Dシーンでオブジェクトとその部分を理解し、推論し、グラウンドすることを可能にする、統合された部分認識3D-MLLMフレームワークである。提案手法は,部分レベルの質問応答とセグメンテーションの参照を大幅に改善するとともに,オブジェクトレベルの視覚言語タスクに対して高い性能を実現する。
論文参考訳（メタデータ） (2026-06-04T17:59:04Z)
Vid-LLM: A Compact Video-based 3D Multimodal LLM with Reconstruction-Reasoning Synergy [4.1703677379815565]
外部の3Dデータを必要としないビデオ入力を直接処理するビデオベースの3D-MLLMであるVid-LLMを提案する。本手法では, 偏見の知覚性能を向上させるために, 幾何先行法を直接的に用いた。各種ベンチマーク実験により,3次元質問応答,3次元キャプション,3次元視覚的接地作業において,本手法の有効性が検証された。
論文参考訳（メタデータ） (2025-09-29T07:34:18Z)
Advancing 3D Scene Understanding with MV-ScanQA Multi-View Reasoning Evaluation and TripAlign Pre-training Dataset [56.533371387182065]
MV-ScanQAは、新しい3D質問応答データセットである。本稿では,大規模かつ低コストな2D-3D言語事前学習コーパスTripAlignについて紹介する。さらに,MV-ScanQAにおける多視点推論のためのベースライン手法であるLEGOを開発し,事前学習した2次元LVLMの知識をTripAlignで3Dドメインに転送する。
論文参考訳（メタデータ） (2025-08-14T20:35:59Z)
Object-X: Learning to Reconstruct Multi-Modal 3D Object Representations [114.57192386025373]
Object-Xは多目的なマルチモーダル3D表現フレームワークである。リッチなオブジェクトの埋め込みをエンコードして、幾何学的および視覚的再構成に復号することができる。シーンアライメント、シングルイメージの3Dオブジェクト再構成、ローカライゼーションなど、さまざまなダウンストリームタスクをサポートする。
論文参考訳（メタデータ） (2025-06-05T09:14:42Z)
Common3D: Self-Supervised Learning of 3D Morphable Models for Common Objects in Neural Feature Space [58.623106094568776]
3Dモデル(3DMM)は、オブジェクトカテゴリの形状や外観を表現する強力なツールである。我々は,オブジェクト中心ビデオのコレクションから,オブジェクトの3DMMを自己管理的に学習する新しい手法であるCommon3Dを導入する。 Common3Dは、様々な視覚タスクをゼロショットで解くことができる最初の完全に自己教師された方法である。
論文参考訳（メタデータ） (2025-04-30T15:42:23Z)
MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
論文参考訳（メタデータ） (2025-03-23T16:40:20Z)
Inst3D-LMM: Instance-Aware 3D Scene Understanding with Multi-modal Instruction Tuning [18.185457833299235]
本稿では,複数の3次元シーン理解タスクを同時に扱うために,インスタンス対応3次元大規模マルチモーダルモデル(Inst3D-LMM)を提案する。まず,MCMF(Multi-view Cross-Modal Fusion)モジュールを導入し,それに対応する幾何学的特徴に多視点2Dセマンティクスを注入する。シーンレベルの関係対応トークンに対しては、オブジェクト間の複雑な対空間関係をキャプチャするための3次元インスタンス空間関係(3D-ISR)モジュールをさらに提示する。
論文参考訳（メタデータ） (2025-03-01T14:38:42Z)
ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
論文参考訳（メタデータ） (2024-03-19T03:39:43Z)
3DRP-Net: 3D Relative Position-aware Network for 3D Visual Grounding [58.924180772480504]
3Dビジュアルグラウンドは、自由形式の言語記述によって、ターゲットオブジェクトを3Dポイントクラウドにローカライズすることを目的としている。 3次元相対位置認識ネットワーク(3-Net)という,関係性を考慮した一段階フレームワークを提案する。
論文参考訳（メタデータ） (2023-07-25T09:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。