論文の概要: Test-Time Adaptation of 3D Point Clouds via Denoising Diffusion Models
- arxiv url: http://arxiv.org/abs/2411.14495v1
- Date: Thu, 21 Nov 2024 00:04:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-25 15:03:09.861076
- Title: Test-Time Adaptation of 3D Point Clouds via Denoising Diffusion Models
- Title(参考訳): 拡散モデルによる3次元点雲のテスト時間適応
- Authors: Hamidreza Dastmalchi, Aijun An, Ali Cheraghian, Shafin Rahman, Sameera Ramasinghe,
- Abstract要約: 3Dポイントクラウドのテスト時間適応は、実世界のシナリオにおけるトレーニングとテストサンプルの相違を緩和するために不可欠である。
本稿では,3D Denoising Diffusion Test-Time Adaptationの略である3DD-TTAと呼ばれる新しい3Dテスト時間適応法を提案する。
- 参考スコア(独自算出の注目度): 19.795578581043745
- License:
- Abstract: Test-time adaptation (TTA) of 3D point clouds is crucial for mitigating discrepancies between training and testing samples in real-world scenarios, particularly when handling corrupted point clouds. LiDAR data, for instance, can be affected by sensor failures or environmental factors, causing domain gaps. Adapting models to these distribution shifts online is crucial, as training for every possible variation is impractical. Existing methods often focus on fine-tuning pre-trained models based on self-supervised learning or pseudo-labeling, which can lead to forgetting valuable source domain knowledge over time and reduce generalization on future tests. In this paper, we introduce a novel 3D test-time adaptation method, termed 3DD-TTA, which stands for 3D Denoising Diffusion Test-Time Adaptation. This method uses a diffusion strategy that adapts input point cloud samples to the source domain while keeping the source model parameters intact. The approach uses a Variational Autoencoder (VAE) to encode the corrupted point cloud into a shape latent and latent points. These latent points are corrupted with Gaussian noise and subjected to a denoising diffusion process. During this process, both the shape latent and latent points are updated to preserve fidelity, guiding the denoising toward generating consistent samples that align more closely with the source domain. We conduct extensive experiments on the ShapeNet dataset and investigate its generalizability on ModelNet40 and ScanObjectNN, achieving state-of-the-art results. The code has been released at \url{https://github.com/hamidreza-dastmalchi/3DD-TTA}.
- Abstract(参考訳): 3Dポイントクラウドのテスト時間適応(TTA)は、実際のシナリオ、特に破損したポイントクラウドを扱う場合、トレーニングとテストのサンプル間の不一致を軽減するために不可欠である。
例えば、LiDARデータは、センサーの故障や環境要因に影響され、ドメインギャップを引き起こす可能性がある。
これらの分散シフトにモデルを適用することは、あらゆる可能なバリエーションのトレーニングが現実的ではないため、非常に重要です。
既存の手法は、自己教師付き学習や擬似ラベルに基づく微調整された事前学習モデルに重点を置いていることが多いため、時間とともに貴重なソースドメイン知識を忘れ、将来のテストの一般化を減らすことができる。
本稿では, 3D-TTA(3D Denoising Diffusion Test-Time Adaptation)と呼ばれる新しい3Dテスト時間適応法を提案する。
この方法は、入力ポイントクラウドのサンプルをソースドメインに適応させ、ソースモデルのパラメータをそのまま保持する拡散戦略を用いる。
このアプローチでは、変分オートエンコーダ(VAE)を使用して、破損した点雲を潜伏点と潜伏点に符号化する。
これらの潜伏点はガウス雑音で劣化し、デノナイジング拡散過程を受ける。
このプロセスでは、形状の潜伏点と潜伏点の両方を更新して忠実さを保ち、ソースドメインとより密に整合した一貫性のあるサンプルを生成するよう指示する。
本研究では,ShapeNetデータセットに関する広範な実験を行い,ModelNet40とScanObjectNNの一般化可能性について検討した。
コードは \url{https://github.com/hamidreza-dastmalchi/3DD-TTA} でリリースされた。
関連論文リスト
- Test-Time Adaptation in Point Clouds: Leveraging Sampling Variation with Weight Averaging [17.74824534094739]
テスト時間適応(TTA)は、ソースデータにアクセスせずに事前訓練されたモデルを適用することで、テスト中の分散シフトに対処する。
本稿では,3次元点雲分類のための新しいTTA手法を提案する。
論文 参考訳(メタデータ) (2024-11-02T02:59:25Z) - Diff3DETR:Agent-based Diffusion Model for Semi-supervised 3D Object Detection [33.58208166717537]
3次元物体検出は3次元シーンの理解に不可欠である。
半教師付き手法の最近の発展は、教師による学習フレームワークを用いて、未ラベルの点群に対する擬似ラベルを生成することにより、この問題を緩和しようとしている。
半教師付き3次元物体検出のためのエージェントベース拡散モデル(Diff3DETR)を提案する。
論文 参考訳(メタデータ) (2024-08-01T05:04:22Z) - CloudFixer: Test-Time Adaptation for 3D Point Clouds via Diffusion-Guided Geometric Transformation [33.07886526437753]
実世界のセンサーから捉えた3Dポイントの雲は、様々な障害物のためにしばしばノイズの多い点を包含する。
これらの課題は、クリーンポイントクラウドでトレーニングされたトレーニング済みのポイントクラウド認識モデルのデプロイを妨げる。
本研究では,3次元点雲に適したテスト時間入力適応法であるCloudFixerを提案する。
論文 参考訳(メタデータ) (2024-07-23T05:35:04Z) - Addressing Concept Shift in Online Time Series Forecasting: Detect-then-Adapt [37.98336090671441]
概念 textbfDrift textbfDetection antextbfD textbfAdaptation (D3A)
まずドリフトの概念を検知し、次に急激な適応の検出の後、現在のモデルをドリフトされた概念に積極的に適応する。
これは、トレイン-テストのパフォーマンスの不整合に寄与する重要な要因であるデータ分散ギャップを軽減するのに役立ちます。
論文 参考訳(メタデータ) (2024-03-22T04:44:43Z) - Towards Scalable 3D Anomaly Detection and Localization: A Benchmark via
3D Anomaly Synthesis and A Self-Supervised Learning Network [22.81108868492533]
本稿では,既存の大規模3次元モデルに適応して3次元異常検出を行うための3次元異常合成パイプラインを提案する。
Anomaly-ShapeNetは、40カテゴリ以下の1600点のクラウドサンプルで構成され、リッチで多様なデータ収集を提供する。
また、3次元異常局所化のためのスケーラブルな表現学習を可能にする自己教師型マスク再構成ネットワーク(IMRNet)を提案する。
論文 参考訳(メタデータ) (2023-11-25T01:45:09Z) - Diffusion-based 3D Object Detection with Random Boxes [58.43022365393569]
既存のアンカーベースの3D検出方法は、アンカーの実証的な設定に依存しており、アルゴリズムはエレガンスを欠いている。
提案するDiff3Detは,検出ボックスを生成対象として考慮し,拡散モデルから3次元オブジェクト検出のための提案生成へ移行する。
推論段階では、モデルは予測結果にランダムボックスのセットを徐々に洗練する。
論文 参考訳(メタデータ) (2023-09-05T08:49:53Z) - 3D Adversarial Augmentations for Robust Out-of-Domain Predictions [115.74319739738571]
ドメイン外データへの一般化の改善に注力する。
対象を逆向きに変形させるベクトルの集合を学習する。
本研究では,学習したサンプル非依存ベクトルをモデルトレーニング時に利用可能なオブジェクトに適用することにより,対数拡大を行う。
論文 参考訳(メタデータ) (2023-08-29T17:58:55Z) - StarNet: Style-Aware 3D Point Cloud Generation [82.30389817015877]
StarNetは、マッピングネットワークを使用して高忠実度および3Dポイントクラウドを再構築し、生成することができる。
我々のフレームワークは、クラウドの再構築と生成タスクにおいて、様々なメトリクスで同等の最先端のパフォーマンスを達成します。
論文 参考訳(メタデータ) (2023-03-28T08:21:44Z) - SSDA3D: Semi-supervised Domain Adaptation for 3D Object Detection from
Point Cloud [125.9472454212909]
本稿では,3次元物体検出(SSDA3D)のための半改良型領域適応法を提案する。
SSDA3Dはドメイン間適応ステージとドメイン内一般化ステージを含む。
実験の結果,10%のラベル付きターゲットデータしか持たないSSDA3Dは,100%のターゲットラベルを持つ完全教師付きオラクルモデルを上回ることができることがわかった。
論文 参考訳(メタデータ) (2022-12-06T09:32:44Z) - Back to the Source: Diffusion-Driven Test-Time Adaptation [77.4229736436935]
テスト時間適応はテスト入力を利用し、シフトしたターゲットデータ上でテストした場合、ソースデータに基づいてトレーニングされたモデルの精度を向上させる。
代わりに、生成拡散モデルを用いて、すべてのテスト入力をソース領域に向けて投影することで、ターゲットデータを更新する。
論文 参考訳(メタデータ) (2022-07-07T17:14:10Z) - Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D
Object Detection [85.11649974840758]
3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。
そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
論文 参考訳(メタデータ) (2021-11-30T18:42:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。