論文の概要: On the Utility of Equivariance and Symmetry Breaking in Deep Learning Architectures on Point Clouds

• arxiv url: http://arxiv.org/abs/2501.01999v1
• Date: Wed, 01 Jan 2025 07:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:51.540752
• Title: On the Utility of Equivariance and Symmetry Breaking in Deep Learning Architectures on Point Clouds
• Title（参考訳）: 点雲上のディープラーニングアーキテクチャにおける等価性と対称性の破れの有用性について
• Authors: Sharvaree Vadgama, Mohammad Mohaiminul Islam, Domas Buracus, Christian Shewmake, Erik Bekkers,
• Abstract要約: 本稿では,点雲を扱うモデルの性能に影響を及ぼす要因について考察する。 我々は、異なるタスクで成功を導く同変および非同変アーキテクチャの鍵となる側面を識別する。
• 参考スコア（独自算出の注目度）: 1.4079337353605066
• License:
• Abstract: This paper explores the key factors that influence the performance of models working with point clouds, across different tasks of varying geometric complexity. In this work, we explore the trade-offs between flexibility and weight-sharing introduced by equivariant layers, assessing when equivariance boosts or detracts from performance. It is often argued that providing more information as input improves a model's performance. However, if this additional information breaks certain properties, such as $\SE(3)$ equivariance, does it remain beneficial? We identify the key aspects of equivariant and non-equivariant architectures that drive success in different tasks by benchmarking them on segmentation, regression, and generation tasks across multiple datasets with increasing complexity. We observe a positive impact of equivariance, which becomes more pronounced with increasing task complexity, even when strict equivariance is not required.
• Abstract（参考訳）: 本稿では,幾何的複雑さの異なるタスクにまたがって,点雲を扱うモデルの性能に影響を及ぼす要因について検討する。 本研究では, 同値層が導入した柔軟性と重み付けのトレードオフを考察し, 同値層が性能を引き上げたり, 性能を低下させたりした場合の評価を行う。 入力としてより多くの情報を提供することで、モデルの性能が向上する、としばしば主張される。 しかし、もしこの追加情報が$\SE(3)$等式のような特定の性質を破るなら、それは有益だろうか? 我々は,複数のデータセットにまたがるセグメンテーション,レグレッション,生成タスクをベンチマークすることで,異なるタスクの成功を促進する同変および非同変アーキテクチャの主要な側面を特定する。 厳密な等分散が不要であっても、タスクの複雑さが増大するにつれてより顕著になる等分散の正の影響を観察する。

関連論文リスト

• Does equivariance matter at scale? [15.247352029530523]
  我々は、等変ネットワークと非等変ネットワークが、計算およびトレーニングサンプルでどのようにスケールするかを研究する。 まず、等分散によりデータ効率が向上するが、データ拡張による非同変モデルのトレーニングは、十分なエポックを考慮すれば、このギャップを埋めることができる。 第二に、計算によるスケーリングは、テストされた各計算予算において、同変モデルが非同変モデルよりも優れたパワー則に従う。
  論文  参考訳（メタデータ） (2024-10-30T16:36:59Z)
• Relaxed Equivariance via Multitask Learning [7.905957228045955]
  マルチタスク学習と等価性を近似するトレーニング手法であるREMULを紹介する。 制約のないモデルは、追加の単純な等分散損失を最小化することにより、近似対称性を学習できることが示される。 提案手法は, 等変ベースラインと比較して, 推論時の10倍, トレーニング時の2.5倍の速さで, 競争性能が向上する。
  論文  参考訳（メタデータ） (2024-10-23T13:50:27Z)
• Understanding the Role of Invariance in Transfer Learning [9.220104991339104]
  トランスファーラーニングは、異なるタスク間で知識を共有するための強力なテクニックである。 近年の研究では、逆入力摂動のような特定の不変性を持つモデルの表現が、下流タスクにおいてより高い性能を達成することが判明している。
  論文  参考訳（メタデータ） (2024-07-05T07:53:52Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Self-supervised learning of Split Invariant Equivariant representations [0.0]
  55以上の3Dモデルと250万以上の画像からなる3DIEBenchを導入し、オブジェクトに適用される変換を完全に制御する。 我々はハイパーネットワークに基づく予測アーキテクチャを導入し、不変表現を非分散に分解することなく学習する。 SIE(Split Invariant-Equivariant)を導入し、よりリッチな表現を学ぶために、ハイパーネットワークベースの予測器と表現を2つの部分に分割する。
  論文  参考訳（メタデータ） (2023-02-14T07:53:18Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
  自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。 コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-11-22T18:16:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。