論文の概要: Weakly Supervised Monocular 3D Detection with a Single-View Image

• arxiv url: http://arxiv.org/abs/2402.19144v1
• Date: Thu, 29 Feb 2024 13:26:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 14:43:36.044981
• Title: Weakly Supervised Monocular 3D Detection with a Single-View Image
• Title（参考訳）: シングルビュー画像による弱教師付き単眼3次元検出
• Authors: Xueying Jiang, Sheng Jin, Lewei Lu, Xiaoqin Zhang, Shijian Lu
• Abstract要約: モノクロ3D検出は、単一視点画像からの正確な3Dオブジェクトのローカライゼーションを目的としている。 SKD-WM3Dは弱い教師付き単分子3D検出フレームワークである。 我々は,SKD-WM3Dが最先端技術を超え,多くの完全教師付き手法と同等であることを示した。
• 参考スコア（独自算出の注目度）: 58.57978772009438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monocular 3D detection (M3D) aims for precise 3D object localization from a single-view image which usually involves labor-intensive annotation of 3D detection boxes. Weakly supervised M3D has recently been studied to obviate the 3D annotation process by leveraging many existing 2D annotations, but it often requires extra training data such as LiDAR point clouds or multi-view images which greatly degrades its applicability and usability in various applications. We propose SKD-WM3D, a weakly supervised monocular 3D detection framework that exploits depth information to achieve M3D with a single-view image exclusively without any 3D annotations or other training data. One key design in SKD-WM3D is a self-knowledge distillation framework, which transforms image features into 3D-like representations by fusing depth information and effectively mitigates the inherent depth ambiguity in monocular scenarios with little computational overhead in inference. In addition, we design an uncertainty-aware distillation loss and a gradient-targeted transfer modulation strategy which facilitate knowledge acquisition and knowledge transfer, respectively. Extensive experiments show that SKD-WM3D surpasses the state-of-the-art clearly and is even on par with many fully supervised methods.
• Abstract（参考訳）: モノキュラー3d検出(m3d)は、通常3d検出ボックスの労働集約的なアノテーションを伴うシングルビュー画像からの正確な3dオブジェクトのローカライズを目的としている。 弱い教師付きM3Dは、多くの既存の2Dアノテーションを活用することで3Dアノテーションプロセスを妨げるために最近研究されているが、LiDARポイントクラウドやマルチビューイメージのような追加のトレーニングデータを必要とすることが多く、様々なアプリケーションで適用性と使用性を著しく低下させる。 深度情報を利用して,3dアノテーションや他のトレーニングデータなしで,単一のビューイメージでm3dを実現する,弱い教師付き単眼型3d検出フレームワークskd-wm3dを提案する。 SKD-WM3Dの鍵となる設計の一つが自己知識蒸留フレームワークで、深度情報を融合することで画像特徴を3D的な表現に変換する。 さらに, 知識獲得と知識伝達を容易にする, 不確実性を考慮した蒸留損失と勾配目標移動変調戦略を設計する。 大規模な実験により、SKD-WM3Dは最先端技術を超え、完全に教師された多くの手法と同等であることが示された。

関連論文リスト

• ImOV3D: Learning Open-Vocabulary Point Clouds 3D Object Detection from Only 2D Images [19.02348585677397]
  Open-vocabulary 3D object Detection (OV-3Det) は、トレーニングフェーズ中にラベル付けされたベースカテゴリの限られた数を超えて一般化することを目的としている。 最大のボトルネックは、注釈付き3Dデータの不足であるのに対して、2D画像データセットは豊富で豊富な注釈付きである。 画像と点雲(PC)の両方を含む擬似マルチモーダル表現を利用してモダリティギャップを埋める新しいフレームワークImOV3Dを提案する。
  論文  参考訳（メタデータ） (2024-10-31T15:02:05Z)
• VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
  モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。 本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-04-15T03:12:12Z)
• MonoTAKD: Teaching Assistant Knowledge Distillation for Monocular 3D Object Detection [42.4932760909941]
  モノクロ3D物体検出は、自律運転において必要不可欠な研究課題である。 Mono3Dの課題は、3Dシーンの形状を理解し、単一の画像から3Dオブジェクト情報を再構築することにある。 従来の方法では、LiDARベースの教師から直接3D情報をカメラベースの生徒に転送する試みがあった。
  論文  参考訳（メタデータ） (2024-04-07T10:39:04Z)
• Multi-CLIP: Contrastive Vision-Language Pre-training for Question Answering tasks in 3D Scenes [68.61199623705096]
  一般的な言語知識と視覚概念を2次元画像から3次元シーン理解に適用するためのトレーニングモデルは、研究者が最近探求を始めたばかりの有望な方向である。 そこで本研究では,モデルによる3次元シーンポイントクラウド表現の学習を可能にする,新しい3次元事前学習手法であるMulti-CLIPを提案する。
  論文  参考訳（メタデータ） (2023-06-04T11:08:53Z)
• Pseudo-Stereo for Monocular 3D Object Detection in Autonomous Driving [14.582107328849473]
  ステレオビューにおける画像-画像生成のギャップは、画像-画像-LiDAR生成のギャップよりもはるかに小さい。 そこで我々はPseudo-Stereo 3D検出フレームワークを3つの新しい仮想ビュー生成手法で提案する。 我々のフレームワークは、KITTI-3Dベンチマークで公表されたモノクラー3D検出器の中で、車、歩行者、サイクリストで1位にランクインしている。
  論文  参考訳（メタデータ） (2022-03-04T03:00:34Z)
• SM3D: Simultaneous Monocular Mapping and 3D Detection [1.2183405753834562]
  本稿では,同時マッピングと3次元検出のための,革新的で効率的なマルチタスク深層学習フレームワーク(SM3D)を提案する。 両モジュールのエンドツーエンドのトレーニングにより、提案したマッピングと3D検出は、最先端のベースラインを10.0%、精度13.2%で上回っている。 我々の単分子マルチタスクSM3Dは純粋なステレオ3D検出器の2倍以上の速度で、2つのモジュールを別々に使用するより18.3%速い。
  論文  参考訳（メタデータ） (2021-11-24T17:23:37Z)
• Weakly Supervised Volumetric Image Segmentation with Deformed Templates [80.04326168716493]
  対象対象物の表面にスパースな3次元点のセットのみを提供する必要があるという意味で、真に弱い教師付きアプローチを提案する。 監督コストの削減により、3Dの弱スーパービジョンに対する従来のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-07T22:09:34Z)
• 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
  大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。 まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。 次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。 第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
  論文  参考訳（メタデータ） (2021-04-06T02:22:24Z)
• Monocular Differentiable Rendering for Self-Supervised 3D Object Detection [21.825158925459732]
  単分子画像からの3次元物体検出は、深さとスケールの射影的絡み合いにより不適切な問題である。 テクスチャ化された3次元形状の再構成と剛体物体のポーズ推定のための新しい自己教師手法を提案する。 本手法は,画像中の物体の3次元位置とメッシュを,異なるレンダリングと自己教師対象を用いて予測する。
  論文  参考訳（メタデータ） (2020-09-30T09:21:43Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。