論文の概要: Pts3D-LLM: Studying the Impact of Token Structure for 3D Scene Understanding With Large Language Models

• arxiv url: http://arxiv.org/abs/2506.05689v1
• Date: Fri, 06 Jun 2025 02:35:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.295124
• Title: Pts3D-LLM: Studying the Impact of Token Structure for 3D Scene Understanding With Large Language Models
• Title（参考訳）: Pts3D-LLM:大規模言語モデルを用いた3次元シーン理解におけるトークン構造の影響に関する研究
• Authors: Hugues Thomas, Chen Chen, Jian Zhang,
• Abstract要約: 本研究は,3次元トークン構造に関する厳密な研究であり,映像ベースおよび点ベース表現を体系的に比較する。 本稿では,ソナタで事前学習したポイントトランスフォーマーV3エンコーダの3Dポイントクラウド機能を組み込むことで,視覚トークンを充実させる手法を提案する。
• 参考スコア（独自算出の注目度）: 9.658828841170472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effectively representing 3D scenes for Multimodal Large Language Models (MLLMs) is crucial yet challenging. Existing approaches commonly only rely on 2D image features and use varied tokenization approaches. This work presents a rigorous study of 3D token structures, systematically comparing video-based and point-based representations while maintaining consistent model backbones and parameters. We propose a novel approach that enriches visual tokens by incorporating 3D point cloud features from a Sonata pretrained Point Transformer V3 encoder. Our experiments demonstrate that merging explicit 3D features significantly boosts performance. Furthermore, we show that point-based token structures can rival video-based ones when the points are cleverly sampled and ordered. Our best models from both structures achieve state-of-the-art results on multiple 3D understanding benchmarks. We emphasize our analysis of token structures as a key contribution, alongside transparent reporting of results averaged over multiple seeds, a practice we believe is vital for robust progress in the field.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の3Dシーンを効果的に表現することは極めて難しい。 既存のアプローチは一般的に2D画像の特徴にのみ依存し、さまざまなトークン化アプローチを使用する。 この研究は、3Dトークンの構造を厳密に研究し、一貫したモデルバックボーンとパラメータを維持しながら、ビデオベースとポイントベースの表現を体系的に比較する。 本稿では,ソナタで事前学習したポイントトランスフォーマーV3エンコーダの3Dポイントクラウド機能を組み込むことで,視覚トークンを充実させる手法を提案する。 実験により,明示的な3D特徴の融合は性能を著しく向上させることが示された。 さらに,ポイントを巧妙にサンプリングして注文すると,ポイントベースのトークン構造がビデオベースのトークン構造と競合することを示す。 両構造からの最良のモデルは、複数の3次元理解ベンチマークで最先端の結果が得られる。 我々は,複数の種子の平均値の透過的な報告とともに,トークン構造の解析を重要な貢献として強調する。

関連論文リスト

• Proto-FG3D: Prototype-based Interpretable Fine-Grained 3D Shape Classification [59.68055837500357]
  本稿では,3次元形状のきめ細かい分類のためのプロトタイプベースフレームワークProto-FG3Dを提案する。 Proto-FG3Dは、Prototype Associationを介して、共同でマルチビューとマルチカテゴリ表現学習を確立する。 Proto-FG3Dは、精度、透明な予測、そして視覚化によるアドホックな解釈可能性において最先端の手法を超越している。
  論文  参考訳（メタデータ） (2025-05-23T09:31:02Z)
• CL3DOR: Contrastive Learning for 3D Large Multimodal Models via Odds Ratio on High-Resolution Point Clouds [1.9643285694999641]
  高解点雲上でのOdds比による3次元大規模マルチモーダルモデルのコントラスト学習を提案する。 CL3DORは3Dシーン理解と推論のベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-01-07T15:42:32Z)
• Multiview Equivariance Improves 3D Correspondence Understanding with Minimal Feature Finetuning [10.51523800391153]
  我々は、VTベースのモデルの3次元認識を評価し、強化する。 本稿では,3次元対応に基づく簡易かつ効果的なファインタニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-29T04:02:11Z)
• PointSeg: A Training-Free Paradigm for 3D Scene Segmentation via Foundation Models [51.24979014650188]
  我々は、市販の視覚基盤モデルを利用して、3Dシーン認識タスクに対処する学習自由パラダイムであるPointSegを提案する。 PointSegは正確な3Dプロンプトを取得してフレーム間で対応するピクセルを調整することで、任意の3Dシーンを分割することができる。 ScanNet、ScanNet++、KITTI-360データセット上の14.1$%、12.3$%、12.6$%のmAPは、最先端のトレーニングフリーモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2024-03-11T03:28:20Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [111.16358607889609]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Unsupervised Learning of Visual 3D Keypoints for Control [104.92063943162896]
  高次元画像からの感覚運動制御ポリシーの学習は、基礎となる視覚表現の品質に大きく依存する。 本稿では,画像から3次元幾何学的構造を直接教師なしで学習するフレームワークを提案する。 これらの発見された3Dキーポイントは、時間と3D空間の両方で一貫した方法で、ロボットの関節と物体の動きを有意義にキャプチャする傾向がある。
  論文  参考訳（メタデータ） (2021-06-14T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。