論文の概要: VLM-3D:End-to-End Vision-Language Models for Open-World 3D Perception

• arxiv url: http://arxiv.org/abs/2508.09061v1
• Date: Tue, 12 Aug 2025 16:25:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.506728
• Title: VLM-3D:End-to-End Vision-Language Models for Open-World 3D Perception
• Title（参考訳）: VLM-3D:End-to-End Vision-Language Models for Open-World 3D Perception
• Authors: Fuhao Chang, Shuxin Li, Yabei Li, Lei He,
• Abstract要約: 本稿では,自律走行シナリオにおける3次元幾何学的認識を可能にする最初のエンドツーエンドフレームワークであるVLM-3Dを提案する。 VLM-3Dはローランド適応(LoRA)を導入し、最小計算オーバーヘッドのタスクにVLMを効率よく適応させる。 VLM-3Dにおける関節意味・幾何学的損失が12.8%の知覚精度向上につながることを示す。
• 参考スコア（独自算出の注目度）: 5.245213543721097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-set perception in complex traffic environments poses a critical challenge for autonomous driving systems, particularly in identifying previously unseen object categories, which is vital for ensuring safety. Visual Language Models (VLMs), with their rich world knowledge and strong semantic reasoning capabilities, offer new possibilities for addressing this task. However, existing approaches typically leverage VLMs to extract visual features and couple them with traditional object detectors, resulting in multi-stage error propagation that hinders perception accuracy. To overcome this limitation, we propose VLM-3D, the first end-to-end framework that enables VLMs to perform 3D geometric perception in autonomous driving scenarios. VLM-3D incorporates Low-Rank Adaptation (LoRA) to efficiently adapt VLMs to driving tasks with minimal computational overhead, and introduces a joint semantic-geometric loss design: token-level semantic loss is applied during early training to ensure stable convergence, while 3D IoU loss is introduced in later stages to refine the accuracy of 3D bounding box predictions. Evaluations on the nuScenes dataset demonstrate that the proposed joint semantic-geometric loss in VLM-3D leads to a 12.8% improvement in perception accuracy, fully validating the effectiveness and advancement of our method.
• Abstract（参考訳）: 複雑な交通環境におけるオープン・セットの認識は、特に安全を確保する上で不可欠な、これまで目に見えない物体の分類において、自律運転システムにとって重要な課題となっている。 豊富な世界知識と強力なセマンティック推論能力を備えたビジュアル言語モデル(VLM)は、このタスクに対処する新たな可能性を提供します。 しかし、既存のアプローチは一般的にVLMを利用して視覚的特徴を抽出し、それらを従来の物体検出器と組み合わせることで、知覚精度を阻害する多段階の誤差伝播をもたらす。 この制限を克服するために,VLMが自律走行シナリオにおいて3次元幾何学的知覚を実現できる最初のエンドツーエンドフレームワークであるVLM-3Dを提案する。 VLM-3D はローランド適応 (LoRA) を導入し、VLM を最小の計算オーバーヘッドで実行タスクに効率的に適応させるとともに、トークンレベルのセマンティックロスを早期訓練中に適用し、安定収束を保証するとともに、3D IoU の損失を後段導入し、3D 境界ボックス予測の精度を向上する。 nuScenesデータセットの評価から,VLM-3Dの関節意味幾何学的損失が12.8%向上し,本手法の有効性と進歩が検証された。

関連論文リスト

• V3LMA: Visual 3D-enhanced Language Model for Autonomous Driving [2.3302708486956454]
  本稿では,LVLMとLLM(Large Language Models)を統合することで,3次元シーン理解を向上させる新しいアプローチであるV3LMAを紹介する。 V3LMAは、オブジェクト検出やビデオ入力から生成されたテキスト記述を活用し、微調整を必要とせずに性能を大幅に向上させる。 本稿では,複雑な交通シナリオにおける状況認識と意思決定を改善し,LingoQAベンチマークのスコア0.56を達成している。
  論文  参考訳（メタデータ） (2025-04-30T20:00:37Z)
• ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
  既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。 本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。 私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
  論文  参考訳（メタデータ） (2024-11-12T11:32:56Z)
• OccLoff: Learning Optimized Feature Fusion for 3D Occupancy Prediction [5.285847977231642]
  3Dセマンティック占有予測は、自動運転の安全性を確保するために不可欠である。 既存のフュージョンベースの占有法では、画像の特徴に対して2次元から3次元のビュー変換を行うのが一般的である。 OccLoffは3次元占有予測のためにFeature Fusionを最適化するフレームワークである。
  論文  参考訳（メタデータ） (2024-11-06T06:34:27Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• Is a 3D-Tokenized LLM the Key to Reliable Autonomous Driving? [66.6886931183372]
  我々は,LDMと1層線形プロジェクタを接続する3Dトークン化器として,DETR方式の3Dパーセプトロンを導入する。 その単純さにもかかわらず、Atlasは3D検出とエゴ計画の両方で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-05-28T16:57:44Z)
• Improving 3D Occupancy Prediction through Class-balancing Loss and Multi-scale Representation [7.651064601670273]
  自動運転システムには3D環境認識が不可欠である。 Birds-Eye-View(BEV)に基づく認識は,このタスクのSOTA性能を達成している。 この問題を解決するために,新しいUNetライクなマルチスケールOccupancy Headモジュールを導入する。
  論文  参考訳（メタデータ） (2024-05-25T07:13:13Z)
• FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [59.13757801286343]
  クラス増分学習(class-incremental learning)は、モデルが限られたデータで漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 本稿では,特徴空間の不整合のための冗長特徴除去器 (RFE) と,重要な雑音に対する空間ノイズ補償器 (SNC) の2つの新しいコンポーネントを備えたFILP-3Dフレームワークを紹介する。
  論文  参考訳（メタデータ） (2023-12-28T14:52:07Z)
• 3D Harmonic Loss: Towards Task-consistent and Time-friendly 3D Object Detection on Edge for Intelligent Transportation System [28.55894241049706]
  本稿では,ポイントクラウドに基づく不整合予測を緩和する3次元高調波損失関数を提案する。 提案手法はベンチマークモデルよりも性能が大幅に向上する。 私たちのコードはオープンソースで公開されています。
  論文  参考訳（メタデータ） (2022-11-07T10:11:48Z)
• Unsupervised Domain Adaptation for Monocular 3D Object Detection via Self-Training [57.25828870799331]
  我々は、Mono3D上での教師なしドメイン適応のための新しい自己学習フレームワークSTMono3Dを提案する。 対象ドメイン上で適応的な擬似ラベルを生成するための教師学生パラダイムを開発する。 STMono3Dは、評価されたすべてのデータセットで顕著なパフォーマンスを達成し、KITTI 3Dオブジェクト検出データセットの完全な教師付き結果を超えています。
  論文  参考訳（メタデータ） (2022-04-25T12:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。