論文の概要: On the Utility of Equivariance and Symmetry Breaking in Deep Learning Architectures on Point Clouds
- arxiv url: http://arxiv.org/abs/2501.01999v1
- Date: Wed, 01 Jan 2025 07:00:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-07 16:36:50.496799
- Title: On the Utility of Equivariance and Symmetry Breaking in Deep Learning Architectures on Point Clouds
- Title(参考訳): 点雲上のディープラーニングアーキテクチャにおける等価性と対称性の破れの有用性について
- Authors: Sharvaree Vadgama, Mohammad Mohaiminul Islam, Domas Buracus, Christian Shewmake, Erik Bekkers,
- Abstract要約: 本稿では,点雲を扱うモデルの性能に影響を及ぼす要因について考察する。
我々は、異なるタスクで成功を導く同変および非同変アーキテクチャの鍵となる側面を識別する。
- 参考スコア(独自算出の注目度): 1.4079337353605066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper explores the key factors that influence the performance of models working with point clouds, across different tasks of varying geometric complexity. In this work, we explore the trade-offs between flexibility and weight-sharing introduced by equivariant layers, assessing when equivariance boosts or detracts from performance. It is often argued that providing more information as input improves a model's performance. However, if this additional information breaks certain properties, such as $\SE(3)$ equivariance, does it remain beneficial? We identify the key aspects of equivariant and non-equivariant architectures that drive success in different tasks by benchmarking them on segmentation, regression, and generation tasks across multiple datasets with increasing complexity. We observe a positive impact of equivariance, which becomes more pronounced with increasing task complexity, even when strict equivariance is not required.
- Abstract(参考訳): 本稿では,幾何的複雑さの異なるタスクにまたがって,点雲を扱うモデルの性能に影響を及ぼす要因について検討する。
本研究では, 同値層が導入した柔軟性と重み付けのトレードオフを考察し, 同値層が性能を引き上げたり, 性能を低下させたりした場合の評価を行う。
入力としてより多くの情報を提供することで、モデルの性能が向上する、としばしば主張される。
しかし、もしこの追加情報が$\SE(3)$等式のような特定の性質を破るなら、それは有益だろうか?
我々は,複数のデータセットにまたがるセグメンテーション,レグレッション,生成タスクをベンチマークすることで,異なるタスクの成功を促進する同変および非同変アーキテクチャの主要な側面を特定する。
厳密な等分散が不要であっても、タスクの複雑さが増大するにつれてより顕著になる等分散の正の影響を観察する。
関連論文リスト
- Parameter-free approximate equivariance for tasks with finite group symmetry [15.964726158869777]
等価ニューラルネットワークは、グループアクションを通じて対称性を取り入れ、様々なタスクのパフォーマンスを改善するために誘導バイアスとしてそれらを埋め込む。
損失関数における追加項として、潜在表現における有限群に対して近似同値を課す単純なゼロパラメータアプローチを提案する。
提案手法を3つのデータセットにベンチマークし,既存の同変手法と比較した結果,パラメータのごく一部に対して類似あるいは良好な性能が得られた。
論文 参考訳(メタデータ) (2025-06-09T21:23:26Z) - Learning (Approximately) Equivariant Networks via Constrained Optimization [25.51476313302483]
等価ニューラルネットワークは、そのアーキテクチャを通して対称性を尊重するように設計されている。
実世界のデータは、ノイズ、構造的変動、測定バイアス、その他の対称性を破る効果のために、しばしば完全対称性から逸脱する。
適応制約等分散(ACE)は、柔軟で非等価なモデルから始まる制約付き最適化手法である。
論文 参考訳(メタデータ) (2025-05-19T18:08:09Z) - EquiTabPFN: A Target-Permutation Equivariant Prior Fitted Networks [55.214444066134114]
我々は、同変エンコーダ、デコーダ、およびバイアテンション機構を介し、完全にターゲット同変のアーキテクチャに適応する置換不変性を設計する。
標準分類ベンチマークの実証的評価は、事前学習中に見られたクラス数より多いデータセットでは、我々のモデルは計算オーバーヘッドを低く抑えながら既存の手法と一致または超えていることを示している。
論文 参考訳(メタデータ) (2025-02-10T17:11:20Z) - Approximate Equivariance in Reinforcement Learning [35.04248486334824]
我々は、強化学習におけるほぼ同変のアルゴリズムを開発した。
その結果, ほぼ同変ネットワークは, 正確な対称性が存在する場合に, 正確に同変ネットワークと同等に動作することがわかった。
論文 参考訳(メタデータ) (2024-11-06T19:44:46Z) - Does equivariance matter at scale? [15.247352029530523]
我々は、等変ネットワークと非等変ネットワークが、計算およびトレーニングサンプルでどのようにスケールするかを研究する。
まず、等分散によりデータ効率が向上するが、データ拡張による非同変モデルのトレーニングは、十分なエポックを考慮すれば、このギャップを埋めることができる。
第二に、計算によるスケーリングは、テストされた各計算予算において、同変モデルが非同変モデルよりも優れたパワー則に従う。
論文 参考訳(メタデータ) (2024-10-30T16:36:59Z) - Relaxed Equivariance via Multitask Learning [7.905957228045955]
マルチタスク学習と等価性を近似するトレーニング手法であるREMULを紹介する。
制約のないモデルは、追加の単純な等分散損失を最小化することにより、近似対称性を学習できることが示される。
提案手法は, 等変ベースラインと比較して, 推論時の10倍, トレーニング時の2.5倍の速さで, 競争性能が向上する。
論文 参考訳(メタデータ) (2024-10-23T13:50:27Z) - Improving Equivariant Model Training via Constraint Relaxation [31.507956579770088]
そこで本研究では,トレーニング中の厳密な均衡制約を緩和することにより,そのようなモデルの最適化を改善する新しい枠組みを提案する。
本研究では,様々な最先端ネットワークアーキテクチャの実験結果を提供し,このトレーニングフレームワークが一般化性能を向上した同変モデルを実現する方法を示す。
論文 参考訳(メタデータ) (2024-08-23T17:35:08Z) - Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance [16.49488981364657]
群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。
我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。
実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
論文 参考訳(メタデータ) (2023-06-05T13:40:54Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-02T20:44:45Z) - Self-supervised learning of Split Invariant Equivariant representations [0.0]
55以上の3Dモデルと250万以上の画像からなる3DIEBenchを導入し、オブジェクトに適用される変換を完全に制御する。
我々はハイパーネットワークに基づく予測アーキテクチャを導入し、不変表現を非分散に分解することなく学習する。
SIE(Split Invariant-Equivariant)を導入し、よりリッチな表現を学ぶために、ハイパーネットワークベースの予測器と表現を2つの部分に分割する。
論文 参考訳(メタデータ) (2023-02-14T07:53:18Z) - Architectural Optimization over Subgroups for Equivariant Neural
Networks [0.0]
準同値緩和同型と$[G]$-mixed同変層を提案し、部分群上の同値制約で演算する。
進化的および微分可能なニューラルアーキテクチャ探索(NAS)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-10-11T14:37:29Z) - The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。
その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。
例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
論文 参考訳(メタデータ) (2022-10-06T15:20:55Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳(メタデータ) (2022-07-14T17:08:25Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳(メタデータ) (2022-03-29T04:54:06Z) - Why Do Self-Supervised Models Transfer? Investigating the Impact of
Invariance on Downstream Tasks [79.13089902898848]
自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。
コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
論文 参考訳(メタデータ) (2021-11-22T18:16:35Z) - Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。
グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。
実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
論文 参考訳(メタデータ) (2021-06-07T07:03:14Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳(メタデータ) (2020-10-22T17:18:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。