論文の概要: FOMO-3D: Using Vision Foundation Models for Long-Tailed 3D Object Detection

• arxiv url: http://arxiv.org/abs/2603.08611v1
• Date: Mon, 09 Mar 2026 16:57:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:16.587875
• Title: FOMO-3D: Using Vision Foundation Models for Long-Tailed 3D Object Detection
• Title（参考訳）: FOMO-3D:Long-Tailed 3D Object Detectionのためのビジョンファウンデーションモデル
• Authors: Anqi Joyce Yang, James Tu, Nikita Dvornik, Enxu Li, Raquel Urtasun,
• Abstract要約: 多くの安全クリティカルな物体は、名目上の交通条件ではまれに現れず、データのみを駆動する訓練例が著しく不足している。 最近のビジョンファウンデーションモデルは、大規模なデータコーパスに基づいてトレーニングされており、外部の事前知識の優れた情報源として役立てることができる。 本研究は,視覚基盤モデルを利用した多モード3D検出器FOMO-3Dを提案する。
• 参考スコア（独自算出の注目度）: 26.468026465568396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In order to navigate complex traffic environments, self-driving vehicles must recognize many semantic classes pertaining to vulnerable road users or traffic control devices. However, many safety-critical objects (e.g., construction worker) appear infrequently in nominal traffic conditions, leading to a severe shortage of training examples from driving data alone. Recent vision foundation models, which are trained on a large corpus of data, can serve as a good source of external prior knowledge to improve generalization. We propose FOMO-3D, the first multi-modal 3D detector to leverage vision foundation models for long-tailed 3D detection. Specifically, FOMO-3D exploits rich semantic and depth priors from OWLv2 and Metric3Dv2 within a two-stage detection paradigm that first generates proposals with a LiDAR-based branch and a novel camera-based branch, and refines them with attention especially to image features from OWL. Evaluations on real-world driving data show that using rich priors from vision foundation models with careful multi-modal fusion designs leads to large gains for long-tailed 3D detection. Project website is at https://waabi.ai/fomo3d/.
• Abstract（参考訳）: 複雑な交通環境をナビゲートするためには、自動運転車は脆弱な道路ユーザーや交通管制装置に関連する多くの意味クラスを認識する必要がある。 しかし、多くの安全クリティカルなオブジェクト(例えば、建設労働者)は、名目上の交通条件下では頻繁に現れ、データのみを駆動する訓練例が著しく不足している。 近年のビジョンファウンデーションモデルは、大規模なデータコーパスに基づいて訓練されており、一般化を改善するために外部の事前知識の優れた情報源として役立てることができる。 本研究は,視覚基盤モデルを利用した多モード3D検出器FOMO-3Dを提案する。 具体的には、FOMO-3DはOWLv2とMetric3Dv2からの豊富なセマンティクスと奥行きを、2段階検出パラダイムで利用し、最初にLiDARベースのブランチと新しいカメラベースのブランチで提案を生成し、OWLのイメージ特徴に特に注意を払ってそれらを洗練する。 実世界の運転データによる評価は、視覚基礎モデルからの豊富な事前情報と注意深いマルチモーダル融合設計により、長い尾の3D検出において大きな利益をもたらすことを示している。 プロジェクトのWebサイトはhttps://waabi.ai/fomo3d/にある。

関連論文リスト

• HeightFormer: A Semantic Alignment Monocular 3D Object Detection Method from Roadside Perspective [11.841338298700421]
  本研究では,空間的前駆体とVoxel Pooling formerを統合した3次元物体検出フレームワークを提案する。 Rope3DとDAIR-V2X-Iデータセットを用いて実験を行い、提案アルゴリズムが車とサイクリストの両方を検知する際の性能を実証した。
  論文  参考訳（メタデータ） (2024-10-10T09:37:33Z)
• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• Generalized Few-Shot 3D Object Detection of LiDAR Point Cloud for Autonomous Driving [91.39625612027386]
  我々は,一般的な(ベース)オブジェクトに対して大量のトレーニングデータを持つが,レア(ノーベル)クラスに対してはごく少数のデータしか持たない,一般化された数発の3Dオブジェクト検出という新しいタスクを提案する。 具体的には、画像と点雲の奥行きの違いを分析し、3D LiDARデータセットにおける少数ショット設定の実践的原理を示す。 この課題を解決するために,既存の3次元検出モデルを拡張し,一般的なオブジェクトと稀なオブジェクトの両方を認識するためのインクリメンタルな微調整手法を提案する。
  論文  参考訳（メタデータ） (2023-02-08T07:11:36Z)
• HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving [95.42203932627102]
  3Dの人間のポーズ推定は、自動運転車が歩行者の微妙で複雑な振る舞いを知覚し理解できるようにする新しい技術である。 提案手法は,これらの補完信号を半教師付き方式で効率的に利用し,既存の手法よりも大きなマージンで性能を向上する。 具体的には、LiDAR点を画素整列マルチモーダル特徴に埋め込み、トランスフォーマーの精細化段階を経る。
  論文  参考訳（メタデータ） (2022-12-15T11:15:14Z)
• BEV-MAE: Bird's Eye View Masked Autoencoders for Point Cloud Pre-training in Autonomous Driving Scenarios [51.285561119993105]
  自律運転におけるLiDARに基づく3Dオブジェクト検出のための,効率的なマスク付きオートエンコーダ事前学習フレームワークであるBEV-MAEを提案する。 具体的には、3Dエンコーダ学習特徴表現を導くために,鳥の目視(BEV)誘導マスキング戦略を提案する。 学習可能なポイントトークンを導入し、3Dエンコーダの一貫性のある受容的フィールドサイズを維持する。
  論文  参考訳（メタデータ） (2022-12-12T08:15:03Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)
• Ground-aware Monocular 3D Object Detection for Autonomous Driving [6.5702792909006735]
  1台のRGBカメラで環境中の物体の位置と向きを推定することは、低コストの都市自動運転と移動ロボットにとって難しい課題である。 既存のアルゴリズムのほとんどは、2D-3D対応における幾何学的制約に基づいており、これは一般的な6Dオブジェクトのポーズ推定に由来する。 深層学習の枠組みにおいて、そのようなアプリケーション固有の事前知識を完全に活用するための新しいニューラルネットワークモジュールを導入する。
  論文  参考訳（メタデータ） (2021-02-01T08:18:24Z)
• Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data Augmentation [77.60050239225086]
  実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。 私達のアプローチは人間の相互作用なしで完全に自動です。 VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T03:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。