論文の概要: Open-Pose 3D Zero-Shot Learning: Benchmark and Challenges

• arxiv url: http://arxiv.org/abs/2312.07039v2
• Date: Tue, 16 Apr 2024 12:05:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 23:35:28.120569
• Title: Open-Pose 3D Zero-Shot Learning: Benchmark and Challenges
• Title（参考訳）: オープンな3Dゼロショット学習 - ベンチマークと課題
• Authors: Weiguang Zhao, Guanyu Yang, Rui Zhang, Chenru Jiang, Chaolong Yang, Yuyao Yan, Amir Hussain, Kaizhu Huang,
• Abstract要約: オープンポジション3Dゼロショット分類という,より現実的で困難なシナリオを提案する。 まず,3次元ゼロショット分類に関する現在の研究について再考する。 オープンな設定に特化して設計されたベンチマークデータセットを2つ提案する。
• 参考スコア（独自算出の注目度）: 23.663199578392447
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the explosive 3D data growth, the urgency of utilizing zero-shot learning to facilitate data labeling becomes evident. Recently, methods transferring language or language-image pre-training models like Contrastive Language-Image Pre-training (CLIP) to 3D vision have made significant progress in the 3D zero-shot classification task. These methods primarily focus on 3D object classification with an aligned pose; such a setting is, however, rather restrictive, which overlooks the recognition of 3D objects with open poses typically encountered in real-world scenarios, such as an overturned chair or a lying teddy bear. To this end, we propose a more realistic and challenging scenario named open-pose 3D zero-shot classification, focusing on the recognition of 3D objects regardless of their orientation. First, we revisit the current research on 3D zero-shot classification, and propose two benchmark datasets specifically designed for the open-pose setting. We empirically validate many of the most popular methods in the proposed open-pose benchmark. Our investigations reveal that most current 3D zero-shot classification models suffer from poor performance, indicating a substantial exploration room towards the new direction. Furthermore, we study a concise pipeline with an iterative angle refinement mechanism that automatically optimizes one ideal angle to classify these open-pose 3D objects. In particular, to make validation more compelling and not just limited to existing CLIP-based methods, we also pioneer the exploration of knowledge transfer based on Diffusion models. While the proposed solutions can serve as a new benchmark for open-pose 3D zero-shot classification, we discuss the complexities and challenges of this scenario that remain for further research development. The code is available publicly at https://github.com/weiguangzhao/Diff-OP3D.
• Abstract（参考訳）: 爆発的な3Dデータ成長により、ゼロショット学習を利用してデータラベリングを容易にする緊急性が明らかになる。 近年,コントラスト言語画像事前学習(CLIP)のような言語や言語イメージの事前学習モデルを3Dビジョンに転送する手法が,ゼロショット分類タスクにおいて大きな進歩を遂げている。 これらの手法は主にアライメントされたポーズを持つ3Dオブジェクトの分類に焦点を当てるが、そのような設定はむしろ制限的であり、転倒した椅子や横たわるテディベアのような現実世界のシナリオでよく見られるオープンなポーズを持つ3Dオブジェクトの認識を見落としている。 この目的のために,オープン・プレイス3Dゼロショット分類という,より現実的で困難なシナリオを提案する。 まず、3Dゼロショット分類に関する現在の研究を再考し、オープンな設定に特化して設計された2つのベンチマークデータセットを提案する。 提案したオープン・プレイス・ベンチマークにおいて,最も一般的な手法の多くを実証的に検証する。 我々の調査では、現在の3Dゼロショット分類モデルのほとんどは性能が悪く、新しい方向へのかなりの探索の余地があることが判明した。 さらに,これらのオープンな3Dオブジェクトを分類するために,1つの理想的な角度を自動的に最適化する反復的な角度補正機構を備えた簡潔なパイプラインについて検討する。 特に、既存のCLIPベースの手法に限らず、バリデーションをより魅力的にするため、拡散モデルに基づく知識伝達の探索も先駆的です。 提案手法は3次元ゼロショット分類をオープンにするための新しいベンチマークとして機能するが、このシナリオの複雑さと課題について検討する。 コードはhttps://github.com/weiguangzhao/Diff-OP3D.comで公開されている。

関連論文リスト

• Training an Open-Vocabulary Monocular 3D Object Detection Model without 3D Data [57.53523870705433]
  我々はOVM3D-Detと呼ばれる新しいオープン語彙単分子オブジェクト検出フレームワークを提案する。 OVM3D-Detは、入力または3Dバウンディングボックスを生成するために高精度のLiDARや3Dセンサーデータを必要としない。 オープンボキャブラリ2Dモデルと擬似LiDARを使用して、RGB画像に3Dオブジェクトを自動的にラベル付けし、オープンボキャブラリ単分子3D検出器の学習を促進する。
  論文  参考訳（メタデータ） (2024-11-23T21:37:21Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Open-CRB: Towards Open World Active Learning for 3D Object Detection [40.80953254074535]
  LiDARによる3次元物体検出は,最近,能動学習(AL)によって著しく進歩した。 ストリーミングポイントクラウドが未知または新しいオブジェクトを含む実世界のデプロイメントでは、そのようなオブジェクトをキャプチャする現在のALメソッドが探索されていない。 本稿では,3次元物体検出のためのオープンワールドアクティブラーニング(OWAL-3D)という,より実践的で困難な研究課題について検討する。
  論文  参考訳（メタデータ） (2023-10-16T13:32:53Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Learning Occupancy for Monocular 3D Object Detection [25.56336546513198]
  モノクローナル3次元検出のための占有度学習法であるtextbfOccupancy M3D を提案する。 フラストムと3D空間の占有を直接学習し、より差別的で情報的な3D特徴や表現をもたらす。 KITTIとオープンデータセットの実験により,提案手法が新たな最先端技術を実現し,他の手法をはるかに上回っていることが示された。
  論文  参考訳（メタデータ） (2023-05-25T04:03:46Z)
• Weakly Supervised Monocular 3D Object Detection using Multi-View Projection and Direction Consistency [78.76508318592552]
  モノクロ3Dオブジェクト検出は、その容易なアプリケーションのための自動駆動において、主流のアプローチとなっている。 現在のほとんどの方法は、トレーニングフェーズで使用される真実をラベル付けするために、まだ3Dポイントのクラウドデータに依存しています。 画像にマークされた2次元ラベルだけでモデルを訓練できる,弱教師付きモノクル3次元オブジェクト検出法を提案する。
  論文  参考訳（メタデータ） (2023-03-15T15:14:00Z)
• End-to-End Learning of Multi-category 3D Pose and Shape Estimation [128.881857704338]
  本稿では,画像から2次元キーポイントを同時に検出し,それらを3次元に引き上げるエンド・ツー・エンド手法を提案する。 提案手法は2次元キーポイントアノテーションからのみ2次元検出と3次元リフトを学習する。 画像から3D学習へのエンドツーエンド化に加えて,1つのニューラルネットワークを用いて複数のカテゴリからのオブジェクトも処理する。
  論文  参考訳（メタデータ） (2021-12-19T17:10:40Z)
• FCAF3D: Fully Convolutional Anchor-Free 3D Object Detection [3.330229314824913]
  FCAF3D - 完全畳み込み型アンカーフリー屋内3D物体検出法を提案する。 これは、点雲のボクセル表現を使用し、スパース畳み込みでボクセルを処理する、単純で効果的な方法である。 単一の完全な畳み込みフィードフォワードパスを通じて、最小限のランタイムで大規模シーンを処理できる。
  論文  参考訳（メタデータ） (2021-12-01T07:28:52Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Weakly Supervised 3D Object Detection from Point Clouds [27.70180601788613]
  3Dオブジェクト検出は、特定のクラスに属するオブジェクトの3D境界ボックスを検出し、ローカライズすることを目的としている。 既存の3Dオブジェクト検出器は、トレーニング中にアノテーション付き3Dバウンディングボックスに依存している。 基礎となる真理3D境界ボックスを使わずに点雲からの3Dオブジェクト検出を弱教師付きで行うためのフレームワークであるVS3Dを提案する。
  論文  参考訳（メタデータ） (2020-07-28T03:30:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。