論文の概要: Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers

• arxiv url: http://arxiv.org/abs/2407.18534v2
• Date: Mon, 5 Aug 2024 07:37:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 20:09:27.106536
• Title: Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers
• Title（参考訳）: 2次元変圧器の蒸留前処理による分岐点分類の高速化
• Authors: Longkun Zou, Wanru Zhu, Ke Chen, Lihua Guo, Kailing Guo, Kui Jia, Yaowei Wang,
• Abstract要約: 従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。 そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。 PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
• 参考スコア（独自算出の注目度）: 59.0181939916084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic pattern of an object point cloud is determined by its topological configuration of local geometries. Learning discriminative representations can be challenging due to large shape variations of point sets in local regions and incomplete surface in a global perspective, which can be made even more severe in the context of unsupervised domain adaptation (UDA). In specific, traditional 3D networks mainly focus on local geometric details and ignore the topological structure between local geometries, which greatly limits their cross-domain generalization. Recently, the transformer-based models have achieved impressive performance gain in a range of image-based tasks, benefiting from its strong generalization capability and scalability stemming from capturing long range correlation across local patches. Inspired by such successes of visual transformers, we propose a novel Relational Priors Distillation (RPD) method to extract relational priors from the well-trained transformers on massive images, which can significantly empower cross-domain representations with consistent topological priors of objects. To this end, we establish a parameter-frozen pre-trained transformer module shared between 2D teacher and 3D student models, complemented by an online knowledge distillation strategy for semantically regularizing the 3D student model. Furthermore, we introduce a novel self-supervised task centered on reconstructing masked point cloud patches using corresponding masked multi-view image features, thereby empowering the model with incorporating 3D geometric information. Experiments on the PointDA-10 and the Sim-to-Real datasets verify that the proposed method consistently achieves the state-of-the-art performance of UDA for point cloud classification. The source code of this work is available at https://github.com/zou-longkun/RPD.git.
• Abstract（参考訳）: オブジェクト・ポイント・クラウドのセマンティック・パターンは、その局所的ジオメトリの位相的構成によって決定される。 識別表現の学習は、局所領域における点集合と大域的な視点における不完全曲面の大きな形状変化のために困難であり、非教師なし領域適応(UDA)の文脈でさらに深刻にすることができる。 特定の3Dネットワークでは、主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視し、領域間の一般化を大幅に制限する。 近年、トランスフォーマーベースのモデルでは、ローカルパッチ間の長距離相関をキャプチャすることによる、強力な一般化能力とスケーラビリティの恩恵を受け、画像ベースのタスクにおいて、目覚ましいパフォーマンス向上を実現している。 このような視覚変換器の成功に触発されて,大規模画像上のよく訓練された変換器から関係事前を抽出するRPD(Relational Priors Distillation)法を提案する。 そこで我々は,2次元教師モデルと3次元学生モデルの間で共有されるパラメータフリーズ事前学習トランスフォーマーモジュールを構築し,オンライン知識蒸留戦略を補完し,3次元学生モデルを意味論的に正規化する。 さらに,マスク付き多視点画像特徴を用いたマスク付き点雲パッチの再構築を中心にした,新たな自己教師型タスクを導入する。 PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。 この作業のソースコードはhttps://github.com/zou-longkun/RPD.gitで公開されている。

関連論文リスト

• Double-Shot 3D Shape Measurement with a Dual-Branch Network [14.749887303860717]
  我々は、異なる構造光(SL)変調を処理するために、デュアルブランチ畳み込みニューラルネットワーク(CNN)-トランスフォーマーネットワーク(PDCNet)を提案する。 PDCNet内では、Transformerブランチを使用してフリンジイメージのグローバルな認識をキャプチャし、CNNブランチはスペックルイメージのローカル詳細を収集するように設計されている。 提案手法は, 自己生成データセット上で高精度な結果が得られる一方で, フランジオーダーの曖昧さを低減できることを示す。
  論文  参考訳（メタデータ） (2024-07-19T10:49:26Z)
• GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
  単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。 拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。 本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-18T17:50:41Z)
• Cross-domain and Cross-dimension Learning for Image-to-Graph Transformers [50.576354045312115]
  直接画像からグラフへの変換は、単一のモデルにおけるオブジェクトの検出と関係予測を解決するための課題である。 画像-グラフ変換器のクロスドメインおよびクロス次元変換学習を可能にする一連の手法を提案する。 そこで我々は,2次元の衛星画像上でモデルを事前学習し,それを2次元および3次元の異なるターゲット領域に適用する。
  論文  参考訳（メタデータ） (2024-03-11T10:48:56Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)
• Geometry-Aware Network for Domain Adaptive Semantic Segmentation [64.00345743710653]
  本稿では,ドメイン間のギャップを小さくするために,ドメイン適応のための幾何学的ネットワーク(GANDA)を提案する。 我々は、RGB-D画像から生成された点雲上の3Dトポロジを利用して、対象領域における座標色歪みと擬似ラベルの微細化を行う。 我々のモデルは,GTA5->CityscapesとSynTHIA->Cityscapesの最先端技術より優れている。
  論文  参考訳（メタデータ） (2022-12-02T00:48:44Z)
• Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
  この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。 本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。 本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
  論文  参考訳（メタデータ） (2021-12-14T13:14:24Z)
• CpT: Convolutional Point Transformer for 3D Point Cloud Processing [10.389972581905]
  CpT: Convolutional Point Transformer - 3Dポイントクラウドデータの非構造化の性質を扱うための新しいディープラーニングアーキテクチャ。 CpTは、既存の注目ベースのConvolutions Neural Networksと、以前の3Dポイントクラウド処理トランスフォーマーの改善である。 我々のモデルは、既存の最先端のアプローチと比較して、様々なポイントクラウド処理タスクの効果的なバックボーンとして機能する。
  論文  参考訳（メタデータ） (2021-11-21T17:45:55Z)
• 3D Object Detection with Pointformer [29.935891419574602]
  本稿では,3dポイントクラウドのためのトランスフォーマーバックボーンであるpointformerを提案する。 ローカルトランスフォーマーモジュールは、オブジェクトレベルでコンテキスト依存の領域特徴を学習するローカル領域のポイント間の相互作用をモデル化するために使用される。 Global Transformerは、シーンレベルでコンテキスト対応の表現を学ぶように設計されている。
  論文  参考訳（メタデータ） (2020-12-21T15:12:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。