論文の概要: DVD: Dynamic Vector Decoding for Efficient MLLM-based Perception

• arxiv url: http://arxiv.org/abs/2610.12266v1
• Date: Thu, 08 Oct 2026 16:32:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.183949
• Title: DVD: Dynamic Vector Decoding for Efficient MLLM-based Perception
• Title（参考訳）: DVD: MLLMに基づく高能率知覚のための動的ベクトルデコーディング
• Abstract要約: DVDは、2Dおよび3D知覚タスクの表現を統一する動的ベクトル復号法である。 DVDは2Dおよび3Dタスクにおいて優れたパフォーマンスを実現し、トークンオーバーヘッドと推論遅延を大幅に低減する。
• 参考スコア（独自算出の注目度）: 52.49088719351852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models have made remarkable progress in bridging vision and language, facilitating various perception tasks essential for human-machine interaction, robotics, and autonomous driving. However, existing MLLM-based perception methods predominantly rely on text-based coordinate representation, which suffers from excessive token overhead, or fixed-range quantization, which suffers from range and precision constraints, especially for 3D domains with unbounded spatial range and high localization accuracy requirements. To address these challenges, we propose a dynamic vector decoding method named DVD, which unifies the representation of 2D and 3D perception tasks. Specifically, we first transform diverse perceptual representation (i.e., 2D bounding boxes, 2D masks, and 3D bounding boxes) into 1D vector sequences, which are then mapped to compact discrete tokens in the high-dimensional space. Then, a lightweight de-tokenizer enables seamless integration with MLLMs by decoding output tokens back to original 2D and 3D perceptual representations. Extensive experiments on 2D and 3D perception benchmarks including RefCOCO series, SUN-RGBD, KITTI, Hypersim, nuScenes demonstrate that DVD achieves superior performance in 2D and 3D tasks and reduces significantly the token overhead and inference latency. DVD provides an efficient and general framework for integrating perception capabilities into MLLMs, overcoming the inherent limitations of existing methods.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルは、視覚と言語をブリッジすることで、人間と機械の相互作用、ロボット工学、自律運転に不可欠な様々な知覚タスクを促進する。 しかし、既存のMLLMベースの認識法は主に、過度のトークンオーバーヘッドに悩まされるテキストベースの座標表現や、特に非有界空間範囲と高い位置化精度要件を持つ3次元領域において、範囲と精度の制約に悩まされる固定レンジ量子化に依存している。 これらの課題に対処するために,2次元および3次元知覚タスクの表現を統一したDVDという動的ベクトル復号法を提案する。 具体的には,まず多彩な知覚表現(すなわち2次元有界箱,2次元マスク,3次元有界箱)を1次元ベクトル列に変換し,高次元空間におけるコンパクトな離散トークンにマッピングする。 そして、軽量なデトケナイザにより、出力トークンを元の2Dおよび3D知覚表現に復号することで、MLLMとのシームレスな統合を可能にする。 RefCOCOシリーズ、SUN-RGBD、KITTI、Hypersim、nuScenesなどの2Dおよび3Dの知覚ベンチマークによる大規模な実験により、DVDは2Dおよび3Dタスクにおいて優れた性能を発揮し、トークンのオーバーヘッドと推論遅延を大幅に低減することを示した。 DVDは、認識機能をMLLMに統合するための効率的で一般的なフレームワークを提供し、既存のメソッド固有の制限を克服する。

関連論文リスト

• Efficient3D: A Unified Framework for Adaptive and Debiased Token Reduction in 3D MLLMs [37.792545310147965]
  本稿では,視覚的トークンプルーニングのための統合フレームワークであるEfficient3Dを提案する。 Scan2CapデータセットのCIDErは+2.57%向上した。
  論文  参考訳（メタデータ） (2026-04-03T03:32:55Z)
• MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
  推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。 最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。 本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:20Z)
• Video-3D LLM: Learning Position-Aware Video Representation for 3D Scene Understanding [19.382210260928776]
  Video-3D LLMは3Dシーンをダイナミックビデオとして扱い、3D位置エンコーディングをこれらの表現に組み込む。 本モデルは,複数の3次元シーン理解ベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-30T14:28:53Z)
• Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud Pre-training [65.75399500494343]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
  論文  参考訳（メタデータ） (2023-02-27T17:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。