論文の概要: Fast3D: Accelerating 3D Multi-modal Large Language Models for Efficient 3D Scene Understanding

• arxiv url: http://arxiv.org/abs/2507.09334v1
• Date: Sat, 12 Jul 2025 16:29:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:22.970508
• Title: Fast3D: Accelerating 3D Multi-modal Large Language Models for Efficient 3D Scene Understanding
• Title（参考訳）: Fast3D: 効率的な3Dシーン理解のための3次元マルチモーダル大言語モデルの高速化
• Authors: Wencan Huang, Daizong Liu, Wei Hu,
• Abstract要約: 我々は,3D MLLM のためのプラグ&プレイ型ビジュアルトークン解析フレームワークである Fast3D を提案する。 グローバルアテンション予測(GAP)は,目標モデルのグローバルアテンション分布を予測し,トークンの効果的な重要度推定を可能にする。 SAPは、注意に基づく複雑性評価を通じて動的トークン予算を導入し、レイヤーワイドプルーニング比率を自動的に調整する。
• 参考スコア（独自算出の注目度）: 24.964149224068027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While 3D Multi-modal Large Language Models (MLLMs) demonstrate remarkable scene understanding capabilities, their practical deployment faces critical challenges due to computational inefficiency. The key bottleneck stems from processing excessive object-centric visual tokens required for comprehensive 3D scene representation. Although visual token pruning has shown promise in accelerating 2D MLLMs, its applicability to 3D domains remains largely unexplored due to fundamental disparities in token structures. In this paper, we reveal two critical insights: (1) Significant redundancy exists in object-level 3D token representations, analogous to patch-level redundancy in 2D systems; (2) Global attention patterns exhibit strong predictive power for identifying non-essential tokens in 3D contexts. Building on these observations, we propose Fast3D, a plug-and-play visual token pruning framework for 3D MLLMs featuring two technical innovations: (1) Global Attention Prediction (GAP), where a lightweight neural network learns to predict the global attention distributions of the target model, enabling efficient token importance estimation for precise pruning guidance; (2) Sample-Adaptive visual token Pruning (SAP), which introduces dynamic token budgets through attention-based complexity assessment, automatically adjusting layer-wise pruning ratios based on input characteristics. Both of these two techniques operate without modifying the parameters of the target model. Extensive evaluations across five benchmarks validate the effectiveness of Fast3D, particularly under high visual token pruning ratios. Code is available at https://github.com/wencan25/Fast3D
• Abstract（参考訳）: MLLM(Multi-modal Large Language Models)はシーン理解能力に優れるが,その実践的展開は計算の非効率性による重要な課題に直面している。 重要なボトルネックは、包括的な3Dシーン表現に必要な過剰なオブジェクト中心の視覚トークンの処理に起因している。 視覚的トークンプルーニングは2D MLLMを加速させる可能性を示しているが、トークン構造に根本的な違いがあるため、3Dドメインへの適用性はほとんど不明である。 本稿では,(1)2次元システムにおけるパッチレベルの冗長性に類似した,オブジェクトレベルのトークン表現に重要な冗長性が存在すること,(2)グローバルアテンションパターンは3次元コンテキストにおける非意味トークンを識別する強力な予測力を示すこと,の2つの重要な知見を明らかにする。 これらの観測結果に基づいて,(1)グローバルアテンション予測(GAP)を学習し,目標モデルのグローバルアテンション分布を予測し,正確なプルーニング誘導のための効率的なトークン重要度推定を可能にするFast3D,(2)アテンションベースの複雑性評価を通じて動的トークン予算を導入し,入力特性に基づいてレイヤワイズプルーニング比率を自動的に調整する,3次元MLLM用プラグアンドプレイ視覚トークンプルーニングフレームワークを提案する。 これら2つのテクニックはどちらも、ターゲットモデルのパラメータを変更することなく動作する。 5つのベンチマークにわたる広範囲な評価は、特に高い視覚トークンプルーニング比の下で、Fast3Dの有効性を検証する。 コードはhttps://github.com/wencan25/Fast3Dで入手できる。

関連論文リスト

• Pts3D-LLM: Studying the Impact of Token Structure for 3D Scene Understanding With Large Language Models [9.658828841170472]
  本研究は,3次元トークン構造に関する厳密な研究であり,映像ベースおよび点ベース表現を体系的に比較する。 本稿では,ソナタで事前学習したポイントトランスフォーマーV3エンコーダの3Dポイントクラウド機能を組み込むことで,視覚トークンを充実させる手法を提案する。
  論文  参考訳（メタデータ） (2025-06-06T02:35:26Z)
• AdaToken-3D: Dynamic Spatial Gating for Efficient 3D Large Multimodal-Models Reasoning [27.40106634796608]
  大規模マルチモーダルモデル(LMM)は、ディープラーニングにおいて重要な研究対象となっている。 現在、3D LMMは何千もの空間トークンを多モーダル推論に用いており、重要な非効率性に悩まされている。 冗長トークンを動的に生成する適応型空間トークン最適化フレームワークであるAdaToken-3Dを提案する。
  論文  参考訳（メタデータ） (2025-05-19T07:11:07Z)
• 3D-AffordanceLLM: Harnessing Large Language Models for Open-Vocabulary Affordance Detection in 3D Worlds [81.14476072159049]
  3D Affordance Detectionは、様々なロボットタスクの幅広い応用において難しい問題である。 我々は従来の割当検出パラダイムをテキスト推論改善(IRAS)タスクに再構成する。 本研究では,3次元オープンシーンにおけるアベイランス検出のためのフレームワークである3D-ADLLMを提案する。
  論文  参考訳（メタデータ） (2025-02-27T12:29:44Z)
• Articulate3D: Holistic Understanding of 3D Scenes as Universal Scene Description [56.69740649781989]
  3Dシーン理解は、コンピュータビジョンにおける長年の課題であり、混合現実、ウェアラブルコンピューティング、そして具体化されたAIを実現する上で重要な要素である。 室内280のシーンに高品質な手動アノテーションを付加した専門的な3DデータセットであるArticulate3Dを紹介する。 我々はまた,部分分割を同時に予測できる新しい統一フレームワークUSDNetと,オブジェクトの動作属性の完全な仕様を提示する。
  論文  参考訳（メタデータ） (2024-12-02T11:33:55Z)
• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• Is a 3D-Tokenized LLM the Key to Reliable Autonomous Driving? [66.6886931183372]
  我々は,LDMと1層線形プロジェクタを接続する3Dトークン化器として,DETR方式の3Dパーセプトロンを導入する。 その単純さにもかかわらず、Atlasは3D検出とエゴ計画の両方で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-05-28T16:57:44Z)
• Generalized Robot 3D Vision-Language Model with Fast Rendering and Pre-Training Vision-Language Alignment [55.11291053011696]
  本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。 限定的な再構築の場合、提案手法はWS3D++と呼ばれ、大規模なScanNetベンチマークで1位にランクインした。
  論文  参考訳（メタデータ） (2023-12-01T15:47:04Z)
• LocATe: End-to-end Localization of Actions in 3D with Transformers [91.28982770522329]
  LocATeは、3Dシーケンスでアクションを共同でローカライズし認識するエンドツーエンドのアプローチである。 画像やパッチの特徴を入力として考えるトランスフォーマーベースのオブジェクト検出や分類モデルとは異なり、LocATeのトランスフォーマーモデルはシーケンス内のアクション間の長期的な相関をキャプチャすることができる。 BABEL-TAL-20 (BT20) という新しい,挑戦的で,より現実的なベンチマークデータセットを導入する。
  論文  参考訳（メタデータ） (2022-03-21T03:35:32Z)
• SA-Det3D: Self-Attention Based Context-Aware 3D Object Detection [9.924083358178239]
  本稿では,3次元物体検出におけるコンテキストモデリングのための2種類の自己注意法を提案する。 まず,現状のbev,voxel,ポイントベース検出器にペアワイズ自着機構を組み込む。 次に,ランダムにサンプリングされた位置の変形を学習することにより,最も代表的な特徴のサブセットをサンプリングするセルフアテンション変種を提案する。
  論文  参考訳（メタデータ） (2021-01-07T18:30:32Z)
• Pointwise Attention-Based Atrous Convolutional Neural Networks [15.499267533387039]
  多数の点を効率的に扱うために,注目度に基づくアトラス畳み込みニューラルネットワークアーキテクチャを提案する。 提案モデルは,3次元セマンティックセグメンテーションタスクにおいて,最も重要な2つの3Dポイントクラウドデータセット上で評価されている。 精度の面では最先端モデルと比較して妥当な性能を達成し、パラメータの数ははるかに少ない。
  論文  参考訳（メタデータ） (2019-12-27T13:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。