論文の概要: PointAD: Comprehending 3D Anomalies from Points and Pixels for Zero-shot 3D Anomaly Detection

• arxiv url: http://arxiv.org/abs/2410.00320v4
• Date: Sun, 22 Dec 2024 08:19:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:54:37.010973
• Title: PointAD: Comprehending 3D Anomalies from Points and Pixels for Zero-shot 3D Anomaly Detection
• Title（参考訳）: PointAD: ゼロショット3D異常検出のための点と点からの3D異常を補完する
• Authors: Qihang Zhou, Jiangtao Yan, Shibo He, Wenchao Meng, Jiming Chen,
• Abstract要約: 本稿では,未知の物体上の3次元異常を認識するために,CLIPの強力な一般化能力を伝達する新しい手法であるPointADを紹介する。 PointADは、複数の2Dレンダリングに3D異常をレンダリングし、それらを3D空間に投影する。 我々のモデルはRGB情報を直接統合することができ、プラグアンドプレイ方式で3D異常の理解をさらに強化することができる。
• 参考スコア（独自算出の注目度）: 13.60524473223155
• License:
• Abstract: Zero-shot (ZS) 3D anomaly detection is a crucial yet unexplored field that addresses scenarios where target 3D training samples are unavailable due to practical concerns like privacy protection. This paper introduces PointAD, a novel approach that transfers the strong generalization capabilities of CLIP for recognizing 3D anomalies on unseen objects. PointAD provides a unified framework to comprehend 3D anomalies from both points and pixels. In this framework, PointAD renders 3D anomalies into multiple 2D renderings and projects them back into 3D space. To capture the generic anomaly semantics into PointAD, we propose hybrid representation learning that optimizes the learnable text prompts from 3D and 2D through auxiliary point clouds. The collaboration optimization between point and pixel representations jointly facilitates our model to grasp underlying 3D anomaly patterns, contributing to detecting and segmenting anomalies of unseen diverse 3D objects. Through the alignment of 3D and 2D space, our model can directly integrate RGB information, further enhancing the understanding of 3D anomalies in a plug-and-play manner. Extensive experiments show the superiority of PointAD in ZS 3D anomaly detection across diverse unseen objects.
• Abstract（参考訳）: ゼロショット(ZS) 3D異常検出は、プライバシ保護のような現実的な懸念のために、ターゲットの3Dトレーニングサンプルが利用できないシナリオに対処する、重要で未調査の分野である。 本稿では,未知の物体上の3次元異常を認識するために,CLIPの強力な一般化能力を伝達する新しい手法であるPointADを紹介する。 PointADは、ポイントとピクセルの両方から3D異常を理解するための統一されたフレームワークを提供する。 このフレームワークでは、PointADは3D異常を複数の2Dレンダリングにレンダリングし、それらを3D空間に投影する。 本稿では,3次元および2次元からの学習可能なテキストプロンプトを補助的な点雲を通して最適化するハイブリッド表現学習を提案する。 点表現と画素表現の協調最適化により,基礎となる3次元異常パターンの把握が容易となり,未知の多様な3次元物体の異常の検出とセグメンテーションに寄与する。 3D空間と2D空間のアライメントにより、我々のモデルはRGB情報を直接統合することができ、プラグアンドプレイ方式で3D異常の理解をさらに高めることができる。 広範囲にわたる実験により、ZS 3D異常検出におけるPointADの優位性が確認された。

関連論文リスト

• General Geometry-aware Weakly Supervised 3D Object Detection [62.26729317523975]
  RGB画像と関連する2Dボックスから3Dオブジェクト検出器を学習するための統合フレームワークを開発した。 KITTIとSUN-RGBDデータセットの実験により,本手法は驚くほど高品質な3次元境界ボックスを2次元アノテーションで生成することを示した。
  論文  参考訳（メタデータ） (2024-07-18T17:52:08Z)
• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• Real3D-AD: A Dataset of Point Cloud Anomaly Detection [75.56719157477661]
  本稿では,高精度なクラウド異常検出データセットであるReal3D-ADを紹介する。 1,254個の高解像度の3Dアイテムが、各項目に4万から数百万のポイントがあり、Real3D-ADは高精度な3D産業異常検出のための最大のデータセットである。 本稿では,高精度点雲異常検出のためのベースライン手法が存在しないことを明らかにする,Real3D-ADの総合ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-09-23T00:43:38Z)
• Bridged Transformer for Vision and Point Cloud 3D Object Detection [92.86856146086316]
  Bridged Transformer (BrT) は、3Dオブジェクト検出のためのエンドツーエンドアーキテクチャである。 BrTは3Dオブジェクトと2Dオブジェクトのバウンディングボックスを、ポイントとイメージパッチの両方から識別する。 BrTがSUN RGB-DおよびScanNetV2データセットの最先端手法を上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T05:44:22Z)
• Homography Loss for Monocular 3D Object Detection [54.04870007473932]
  ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。 提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
  論文  参考訳（メタデータ） (2022-04-02T03:48:03Z)
• FGR: Frustum-Aware Geometric Reasoning for Weakly Supervised 3D Vehicle Detection [81.79171905308827]
  3Dアノテーションを使わずに点雲中の車両を検出するためのフラストラム対応幾何推論(FGR)を提案する。 本手法は粗い3次元セグメンテーションと3次元バウンディングボックス推定の2段階からなる。 2Dバウンディングボックスとスパースポイントクラウドだけで、3D空間内のオブジェクトを正確に検出できます。
  論文  参考訳（メタデータ） (2021-05-17T07:29:55Z)
• Monocular 3D Object Detection with Decoupled Structured Polygon Estimation and Height-Guided Depth Estimation [41.29145717658494]
  本稿では,検出問題を構造化ポリゴン予測タスクと深度回復タスクに分解する新しい統合フレームワークを提案する。 広く使われている3Dバウンディングボックスの提案と比較すると、3D検出のためのより良い表現であることが示されている。 KITTIベンチマークにおいて,本手法が最先端検出精度を実現するための実験を行った。
  論文  参考訳（メタデータ） (2020-02-05T03:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。