論文の概要: CloudFixer: Test-Time Adaptation for 3D Point Clouds via Diffusion-Guided Geometric Transformation
- arxiv url: http://arxiv.org/abs/2407.16193v1
- Date: Tue, 23 Jul 2024 05:35:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 18:35:54.514654
- Title: CloudFixer: Test-Time Adaptation for 3D Point Clouds via Diffusion-Guided Geometric Transformation
- Title（参考訳）: CloudFixer: 拡散誘導幾何変換による3Dポイントクラウドのテスト時間適応
- Authors: Hajin Shim, Changhun Kim, Eunho Yang,
- Abstract要約: 実世界のセンサーから捉えた3Dポイントの雲は、様々な障害物のためにしばしばノイズの多い点を包含する。
これらの課題は、クリーンポイントクラウドでトレーニングされたトレーニング済みのポイントクラウド認識モデルのデプロイを妨げる。
本研究では,3次元点雲に適したテスト時間入力適応法であるCloudFixerを提案する。
- 参考スコア（独自算出の注目度）: 33.07886526437753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D point clouds captured from real-world sensors frequently encompass noisy points due to various obstacles, such as occlusion, limited resolution, and variations in scale. These challenges hinder the deployment of pre-trained point cloud recognition models trained on clean point clouds, leading to significant performance degradation. While test-time adaptation (TTA) strategies have shown promising results on this issue in the 2D domain, their application to 3D point clouds remains under-explored. Among TTA methods, an input adaptation approach, which directly converts test instances to the source domain using a pre-trained diffusion model, has been proposed in the 2D domain. Despite its robust TTA performance in practical situations, naively adopting this into the 3D domain may be suboptimal due to the neglect of inherent properties of point clouds, and its prohibitive computational cost. Motivated by these limitations, we propose CloudFixer, a test-time input adaptation method tailored for 3D point clouds, employing a pre-trained diffusion model. Specifically, CloudFixer optimizes geometric transformation parameters with carefully designed objectives that leverage the geometric properties of point clouds. We also substantially improve computational efficiency by avoiding backpropagation through the diffusion model and a prohibitive generation process. Furthermore, we propose an online model adaptation strategy by aligning the original model prediction with that of the adapted input. Extensive experiments showcase the superiority of CloudFixer over various TTA baselines, excelling in handling common corruptions and natural distribution shifts across diverse real-world scenarios. Our code is available at https://github.com/shimazing/CloudFixer
- Abstract（参考訳）: 実世界のセンサーから捉えた3Dポイントの雲は、閉塞、解像度の制限、スケールの変動など様々な障害のために、ノイズの多い点をしばしば含む。
これらの課題は、クリーンポイントクラウドでトレーニングされたトレーニング済みのポイントクラウド認識モデルのデプロイを妨げる。
テスト時間適応(TTA)戦略は、この問題に関して2Dドメインで有望な結果を示しているが、彼らの3Dポイントクラウドへの応用はまだ検討されていない。
TTA法では,事前学習した拡散モデルを用いて,テストインスタンスをソースドメインに直接変換する入力適応手法が提案されている。
現実的な状況では堅牢なTTA性能にもかかわらず、点雲の性質や禁止的な計算コストが無視されるため、これを3D領域に内在的に適用することは最適ではない。
これらの制約に触発されて,事前学習した拡散モデルを用いて,3次元点雲に適したテスト時間入力適応法であるCloudFixerを提案する。
具体的には、CloudFixerは、ポイントクラウドの幾何学的特性を活用するために、慎重に設計された目的によって幾何学的変換パラメータを最適化する。
また,拡散モデルや禁止生成プロセスによるバックプロパゲーションを回避し,計算効率を大幅に向上する。
さらに,元のモデル予測を適応入力と整合させることにより,オンラインモデル適応戦略を提案する。
大規模な実験では、さまざまなTTAベースラインよりもCloudFixerの方が優れており、一般的な汚職やさまざまな現実世界シナリオにおける自然な分散シフトを扱うのに優れています。
私たちのコードはhttps://github.com/shimazing/CloudFixerで利用可能です。
関連論文リスト
- Test-Time Adaptation of 3D Point Clouds via Denoising Diffusion Models [19.795578581043745]
3Dポイントクラウドのテスト時間適応は、実世界のシナリオにおけるトレーニングとテストサンプルの相違を緩和するために不可欠である。
本稿では,3D Denoising Diffusion Test-Time Adaptationの略である3DD-TTAと呼ばれる新しい3Dテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-11-21T00:04:38Z) - Adapt PointFormer: 3D Point Cloud Analysis via Adapting 2D Visual Transformers [38.08724410736292]
本稿では,3次元ポイントクラウド解析の課題を達成するために,2次元事前知識を持つ事前学習モデルの活用を試みる。
本稿では,適応ポイントフォーマー (APF) を提案する。
論文 参考訳（メタデータ） (2024-07-18T06:32:45Z) - Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。
CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
論文 参考訳（メタデータ） (2024-02-27T08:47:19Z) - Adaptive Point Transformer [88.28498667506165]
Adaptive Point Cloud Transformer (AdaPT) は、適応トークン選択機構によって強化された標準PTモデルである。
AdaPTは推論中のトークン数を動的に削減し、大きな点雲の効率的な処理を可能にする。
論文 参考訳（メタデータ） (2024-01-26T13:24:45Z) - InvariantOODG: Learning Invariant Features of Point Clouds for
Out-of-Distribution Generalization [17.96808017359983]
本稿では,異なる分布を持つ点雲間の不変性を学習するInvariantOODGを提案する。
学習可能なアンカーポイントの集合を定義し、最も有用な局所領域と入力点の雲を増大させる2種類の変換を定義する。
実験により,提案モデルが3次元領域一般化ベンチマークに与える影響を実証した。
論文 参考訳（メタデータ） (2024-01-08T09:41:22Z) - StarNet: Style-Aware 3D Point Cloud Generation [82.30389817015877]
StarNetは、マッピングネットワークを使用して高忠実度および3Dポイントクラウドを再構築し、生成することができる。
我々のフレームワークは、クラウドの再構築と生成タスクにおいて、様々なメトリクスで同等の最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2023-03-28T08:21:44Z) - AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware
Transformers [94.11915008006483]
本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。
我々は、ポイントクラウド補完のためにTransformerエンコーダデコーダアーキテクチャを採用したPoinTrと呼ばれる新しいモデルを設計する。
本手法は,PCNで6.53 CD,ShapeNet-55で0.81 CD,現実世界のKITTIで0.392 MMDを実現する。
論文 参考訳（メタデータ） (2023-01-11T16:14:12Z) - A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud
Completion [69.32451612060214]
実スキャンされた3Dポイントクラウドはしばしば不完全であり、下流アプリケーションのために完全なポイントクラウドを復元することが重要である。
ほとんどの既存のポイントクラウド補完方法は、トレーニングにチャンファー距離(CD)損失を使用する。
本稿では,点雲完了のためのPDR(Point Diffusion-Refinement)パラダイムを提案する。
論文 参考訳（メタデータ） (2021-12-07T06:59:06Z) - Deep Point Cloud Reconstruction [74.694733918351]
3Dスキャンから得られる点雲は、しばしばスパース、ノイズ、不規則である。
これらの問題に対処するため、最近の研究は別々に行われ、不正確な点雲を密度化、復調し、完全な不正確な点雲を観測している。
本研究では,1) 初期密度化とデノナイズのための3次元スパース集積時間ガラスネットワーク,2) 離散ボクセルを3Dポイントに変換するトランスフォーマーによる改良,の2段階からなる深部点雲再構成ネットワークを提案する。
論文 参考訳（メタデータ） (2021-11-23T07:53:28Z) - Robustness Certification for Point Cloud Models [10.843109238068982]
ポイントクラウドモデルのロバスト性を証明できる最初の検証器である3DCertifyを導入する。
3DCertifyは、2つの重要な洞察に基づいています:(i)第一次テイラー近似に基づくジェネリックリラクゼーション、および(ii)グローバル機能プーリングのための正確なリラクゼーション。
幅広い3D変換で広範囲な評価を行うことで、3DCertifyの有効性を実証します。
論文 参考訳（メタデータ） (2021-03-30T19:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。