論文の概要: Equivariant vs. Invariant Layers: A Comparison of Backbone and Pooling for Point Cloud Classification
- arxiv url: http://arxiv.org/abs/2306.05553v2
- Date: Fri, 12 Jul 2024 23:40:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 05:18:31.662209
- Title: Equivariant vs. Invariant Layers: A Comparison of Backbone and Pooling for Point Cloud Classification
- Title（参考訳）: Equivariant vs. Invariant Layers: ポイントクラウド分類のためのバックボーンとプールの比較
- Authors: Abihith Kothapalli, Ashkan Shahbazi, Xinran Liu, Robert Sheng, Soheil Kolouri,
- Abstract要約: 3つのベンチマークポイントクラウド分類データセット上で、置換同変バックボーンと置換不変大域プールの相互作用について検討した。
以上の結果から,トランスポートベースやアテンションベースといった複雑なプーリング手法は,単純なバックボーンの性能を大幅に向上させる可能性が示唆された。
プール層の選択は、バックボーンの幅と深さを調整するよりも、モデルの性能に顕著な影響を与える可能性がある。
- 参考スコア（独自算出の注目度）: 7.845776938148033
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning from set-structured data, such as point clouds, has gained significant attention from the machine learning community. Geometric deep learning provides a blueprint for designing effective set neural networks that preserve the permutation symmetry of set-structured data. Of our interest are permutation invariant networks, which are composed of a permutation equivariant backbone, permutation invariant global pooling, and regression/classification head. While existing literature has focused on improving equivariant backbones, the impact of the pooling layer is often overlooked. In this paper, we examine the interplay between permutation equivariant backbones and permutation invariant global pooling on three benchmark point cloud classification datasets. Our findings reveal that: 1) complex pooling methods, such as transport-based or attention-based poolings, can significantly boost the performance of simple backbones, but the benefits diminish for more complex backbones, 2) even complex backbones can benefit from pooling layers in low data scenarios, 3) surprisingly, the choice of pooling layers can have a more significant impact on the model's performance than adjusting the width and depth of the backbone, and 4) pairwise combination of pooling layers can significantly improve the performance of a fixed backbone. Our comprehensive study provides insights for practitioners to design better permutation invariant set neural networks. Our code is available at https://github.com/mint-vu/backbone_vs_pooling.
- Abstract（参考訳）: ポイントクラウドのようなセット構造化データから学ぶことは、機械学習コミュニティから大きな注目を集めている。
幾何学的深層学習は、集合構造データの置換対称性を保持する効果的な集合ニューラルネットワークを設計するための青写真を提供する。
我々の関心は、置換不変ネットワークであり、置換同変バックボーン、置換不変大域プール、回帰/分類ヘッドで構成されている。
既存の文献では、均質なバックボーンの改善に焦点が当てられているが、プーリング層の影響はしばしば見過ごされている。
本稿では,3つのベンチマークポイントクラウド分類データセット上での置換同変バックボーンと置換不変大域プールの相互作用について検討する。
私たちの発見は、こう示しています。
1) トランスポートベースやアテンションベースといった複雑なプーリング手法は, 単純なバックボーンの性能を著しく向上させるが, より複雑なバックボーンではメリットが低下する。
2) 複雑なバックボーンでさえ、低いデータシナリオでレイヤをプールするメリットがあります。
3) 驚くべきことに、プール層の選択は、バックボーンの幅と深さを調整するよりも、モデルの性能に顕著な影響を与える可能性がある。
4) 固定バックボーンの性能を著しく向上させることができる。
我々の総合的な研究は、実践者がより優れた置換不変集合ニューラルネットワークを設計するための洞察を提供する。
私たちのコードはhttps://github.com/mint-vu/backbone_vs_pooling.comで利用可能です。
関連論文リスト
- Synergy and Diversity in CLIP: Enhancing Performance Through Adaptive Backbone Ensembling [58.50618448027103]
コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。
本稿では,CLIPを訓練した視覚バックボーンの違いについて検討する。
方法によって、最高の単一のバックボーンよりも39.1%の精度が著しく向上する。
論文 参考訳（メタデータ） (2024-05-27T12:59:35Z) - Unveiling Backbone Effects in CLIP: Exploring Representational Synergies
and Variances [49.631908848868505]
コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。
各種ニューラルアーキテクチャにおけるCLIP性能の違いについて検討する。
我々は、複数のバックボーンからの予測を組み合わせるためのシンプルで効果的なアプローチを提案し、最大6.34%のパフォーマンス向上につながった。
論文 参考訳（メタデータ） (2023-12-22T03:01:41Z) - On Characterizing the Evolution of Embedding Space of Neural Networks
using Algebraic Topology [9.537910170141467]
特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。
深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
論文 参考訳（メタデータ） (2023-11-08T10:45:12Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-03-02T20:44:45Z) - E2PN: Efficient SE(3)-Equivariant Point Network [12.520265159777255]
本稿では,3次元点雲からSE(3)-等価特徴を学習するための畳み込み構造を提案する。
カーネルポイント畳み込み(カーネルポイントコンボリューション、カーネルポイントコンボリューション、カーネルポイントコンボリューション、カーネルポイントコンボリューション、カーネルポイントコンボリューション、カーネルポイントコンボリューション、カーネルポイントコンボリューション、カーネルポイントコンボリューション、カーネルポイントコンボリューション、KPConv、カーネルポイントコンボリューション、カーネルポイントコンボリューション、カーネルポイントコンボリューション、カーネルポイントコンボリューション
論文 参考訳（メタデータ） (2022-06-11T02:15:46Z) - Design equivariant neural networks for 3D point cloud [0.0]
この研究は、既存の3Dポイントクラウドに対するニューラルネットワークの一般化と堅牢性の向上を目指している。
ポイントクラウドの同変モデルを設計する際の大きな課題は、モデルのパフォーマンスと複雑さをトレードオフする方法である。
提案手法は汎用的であり、群同変ニューラルネットワークに対する基本的なアプローチを形成する。
論文 参考訳（メタデータ） (2022-05-02T02:57:13Z) - SE(3)-Equivariant Attention Networks for Shape Reconstruction in
Function Space [50.14426188851305]
本稿では,第1のSE(3)-equivariant coordinate-based networkを提案する。
入力を正規格子に整列させる従来の形状再構成法とは対照的に、不規則で無向な点雲を直接操作する。
提案手法は,従来のSO(3)-equivariant法,およびSO(3)-augmented dataで訓練された非equivariant法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-04-05T17:59:15Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳（メタデータ） (2022-02-08T16:16:11Z) - Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。
この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。
これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
論文 参考訳（メタデータ） (2021-12-27T14:05:41Z) - DFC: Deep Feature Consistency for Robust Point Cloud Registration [0.4724825031148411]
複雑なアライメントシーンのための学習に基づくアライメントネットワークを提案する。
我々は,3DMatchデータセットとKITTIオドメトリデータセットに対するアプローチを検証する。
論文 参考訳（メタデータ） (2021-11-15T08:27:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。