論文の概要: A Tale of Two Symmetries: Exploring the Loss Landscape of Equivariant Models

• arxiv url: http://arxiv.org/abs/2506.02269v1
• Date: Mon, 02 Jun 2025 21:15:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.09042
• Title: A Tale of Two Symmetries: Exploring the Loss Landscape of Equivariant Models
• Title（参考訳）: 2つの対称性の物語:同変モデルの失われた景観を探る
• Authors: YuQing Xie, Tess Smidt,
• Abstract要約: 制約のないモデルのパラメータ対称性が同変部分空間の損失ランドスケープに何の影響も与えないことを示す。 驚いたことに、最終的に緩和によって発見された重みは、隠された層における群表現の異なる選択に対応する。
• 参考スコア（独自算出の注目度）: 0.6475999521931204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Equivariant neural networks have proven to be effective for tasks with known underlying symmetries. However, optimizing equivariant networks can be tricky and best training practices are less established than for standard networks. In particular, recent works have found small training benefits from relaxing equivariance constraints. This raises the question: do equivariance constraints introduce fundamental obstacles to optimization? Or do they simply require different hyperparameter tuning? In this work, we investigate this question through a theoretical analysis of the loss landscape geometry. We focus on networks built using permutation representations, which we can view as a subset of unconstrained MLPs. Importantly, we show that the parameter symmetries of the unconstrained model has nontrivial effects on the loss landscape of the equivariant subspace and under certain conditions can provably prevent learning of the global minima. Further, we empirically demonstrate in such cases, relaxing to an unconstrained MLP can sometimes solve the issue. Interestingly, the weights eventually found via relaxation corresponds to a different choice of group representation in the hidden layer. From this, we draw 3 key takeaways. (1) Viewing any class of networks in the context of larger unconstrained function space can give important insights on loss landscape structure. (2) Within the unconstrained function space, equivariant networks form a complicated union of linear hyperplanes, each associated with a specific choice of internal group representation. (3) Effective relaxation of equivariance may require not only adding nonequivariant degrees of freedom, but also rethinking the fixed choice of group representations in hidden layers.
• Abstract（参考訳）: 等価ニューラルネットワークは、既知の基礎対称性を持つタスクに有効であることが証明されている。 しかし、同変ネットワークの最適化は難易度が高く、トレーニングのベストプラクティスは標準ネットワークよりも確立されていない。 特に、最近の研究は、等値制約を緩和することで、小さなトレーニングの利点を見出している。 等分散制約は最適化に基本的な障害をもたらすのか? あるいは、単に異なるハイパーパラメータチューニングが必要なのでしょうか? 本研究では,損失地形の幾何学的解析を通じて,この問題を考察する。 我々は、置換表現を用いて構築されたネットワークに焦点を当て、制約のないMLPのサブセットと見なすことができる。 重要なことは、制約のないモデルのパラメータ対称性が同変部分空間の損失ランドスケープに非自明な影響を与え、ある条件下では、大域的最小値の学習を確実に阻止できることである。 さらに,このような事例を実証的に実証し,制約のないMLPにリラックスすることで,この問題を解決できることを示す。 興味深いことに、最終的に緩和によって発見された重みは、隠された層における群表現の異なる選択に対応する。 ここから、我々は3つの重要なテイクアウトを引き出す。 1) 大きな制約のない関数空間の文脈でネットワークのあらゆるクラスを見ることは、損失景観構造について重要な洞察を与えることができる。 2) 制約のない函数空間の中では、同変ネットワークは線型超平面の複雑な結合を形成し、それぞれが内部群表現の特定の選択と関連付けられる。 (3) 等式を効果的に緩和するには、非同変自由度を加えるだけでなく、隠された層における群表現の固定的な選択を再考する必要がある。

関連論文リスト

• Revisiting Multi-Permutation Equivariance through the Lens of Irreducible Representations [3.0222726571099665]
  非シーム層は、グラフ異常検出、重み空間アライメント、ワッサーシュタイン距離の学習といったタスクのパフォーマンスを向上させることができることを示す。 また、これらの追加の非シーム層は、グラフ異常の検出、重み空間のアライメント、ワッサーシュタイン距離の学習といったタスクのパフォーマンスを向上させることを実証的に示す。
  論文  参考訳（メタデータ） (2024-10-09T08:19:31Z)
• Improving Equivariant Model Training via Constraint Relaxation [31.507956579770088]
  そこで本研究では,トレーニング中の厳密な均衡制約を緩和することにより,そのようなモデルの最適化を改善する新しい枠組みを提案する。 本研究では,様々な最先端ネットワークアーキテクチャの実験結果を提供し,このトレーニングフレームワークが一般化性能を向上した同変モデルを実現する方法を示す。
  論文  参考訳（メタデータ） (2024-08-23T17:35:08Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Generalizing Neural Human Fitting to Unseen Poses With Articulated SE(3) Equivariance [48.39751410262664]
  ArtEqは、点雲からのSMPLモデル推定のための部分ベースSE(3)等価ニューラルネットワークである。 実験の結果,ArtEqはトレーニング中に見えない動作を一般化し,身体再建精度の点で最先端の手法を44%上回った。
  論文  参考訳（メタデータ） (2023-04-20T17:58:26Z)
• Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
  提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。 CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
  論文  参考訳（メタデータ） (2022-04-14T18:08:36Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
  本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。 MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。 このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
  論文  参考訳（メタデータ） (2020-06-30T15:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。