論文の概要: Probing Equivariance and Symmetry Breaking in Convolutional Networks

• arxiv url: http://arxiv.org/abs/2501.01999v3
• Date: Mon, 02 Jun 2025 02:43:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 16:22:42.975435
• Title: Probing Equivariance and Symmetry Breaking in Convolutional Networks
• Title（参考訳）: 畳み込みネットワークにおける等価性と対称性の破れ
• Authors: Sharvaree Vadgama, Mohammad Mohaiminul Islam, Domas Buracas, Christian Shewmake, Artem Moskalev, Erik Bekkers,
• Abstract要約: textttRapidashは、同変および非同変モデルの異なる変種を可能にする統一群畳み込みアーキテクチャである。 この結果から, より制約のある同変モデルの方が, タスクの幾何に整合すると, より制約の少ない代替モデルより優れていることが示唆された。
• 参考スコア（独自算出の注目度）: 3.241907749876342
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we explore the trade-offs of explicit structural priors, particularly group equivariance. We address this through theoretical analysis and a comprehensive empirical study. To enable controlled and fair comparisons, we introduce \texttt{Rapidash}, a unified group convolutional architecture that allows for different variants of equivariant and non-equivariant models. Our results suggest that more constrained equivariant models outperform less constrained alternatives when aligned with the geometry of the task, and increasing representation capacity does not fully eliminate performance gaps. We see improved performance of models with equivariance and symmetry-breaking through tasks like segmentation, regression, and generation across diverse datasets. Explicit \textit{symmetry breaking} via geometric reference frames consistently improves performance, while \textit{breaking equivariance} through geometric input features can be helpful when aligned with task geometry. Our results provide task-specific performance trends that offer a more nuanced way for model selection.
• Abstract（参考訳）: この研究では、明示的な構造的事前のトレードオフ、特に群同値について検討する。 理論的分析と包括的実証研究を通じてこの問題に対処する。 制御および公正な比較を可能にするために、同変および非同変モデルの異なる変種を可能にする統一群畳み込みアーキテクチャである \texttt{Rapidash} を導入する。 この結果から,制約付き同変モデルの方がタスクの幾何に整合した場合の制約の少ない代替モデルよりも優れており,表現能力の増大は性能ギャップを完全に排除するものではないことが示唆された。 セグメンテーションや回帰、多種多様なデータセット間の生成といったタスクを通じて、等分散と対称性を破るモデルの性能が向上する。 幾何参照フレームによるExplicit \textit{symmetric breaking} は、一貫して性能を改善し、幾何入力特徴による \textit{breaking equivariance} は、タスク幾何学と整合するときに有用である。 結果から,タスク固有のパフォーマンストレンドが得られ,モデル選択のより微妙な方法が提供される。

関連論文リスト

• Approximate Equivariance in Reinforcement Learning [35.04248486334824]
  我々は、強化学習におけるほぼ同変のアルゴリズムを開発した。 その結果, ほぼ同変ネットワークは, 正確な対称性が存在する場合に, 正確に同変ネットワークと同等に動作することがわかった。
  論文  参考訳（メタデータ） (2024-11-06T19:44:46Z)
• Does equivariance matter at scale? [15.247352029530523]
  我々は、等変ネットワークと非等変ネットワークが、計算およびトレーニングサンプルでどのようにスケールするかを研究する。 まず、等分散によりデータ効率が向上するが、データ拡張による非同変モデルのトレーニングは、十分なエポックを考慮すれば、このギャップを埋めることができる。 第二に、計算によるスケーリングは、テストされた各計算予算において、同変モデルが非同変モデルよりも優れたパワー則に従う。
  論文  参考訳（メタデータ） (2024-10-30T16:36:59Z)
• Relaxed Equivariance via Multitask Learning [7.905957228045955]
  マルチタスク学習と等価性を近似するトレーニング手法であるREMULを紹介する。 制約のないモデルは、追加の単純な等分散損失を最小化することにより、近似対称性を学習できることが示される。 提案手法は, 等変ベースラインと比較して, 推論時の10倍, トレーニング時の2.5倍の速さで, 競争性能が向上する。
  論文  参考訳（メタデータ） (2024-10-23T13:50:27Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Self-supervised learning of Split Invariant Equivariant representations [0.0]
  55以上の3Dモデルと250万以上の画像からなる3DIEBenchを導入し、オブジェクトに適用される変換を完全に制御する。 我々はハイパーネットワークに基づく予測アーキテクチャを導入し、不変表現を非分散に分解することなく学習する。 SIE(Split Invariant-Equivariant)を導入し、よりリッチな表現を学ぶために、ハイパーネットワークベースの予測器と表現を2つの部分に分割する。
  論文  参考訳（メタデータ） (2023-02-14T07:53:18Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
  自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。 コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-11-22T18:16:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。