論文の概要: Ubiquitous Symmetry at Critical Points Across Diverse Optimization Landscapes

• arxiv url: http://arxiv.org/abs/2506.01959v1
• Date: Sun, 04 May 2025 12:32:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-08 12:40:08.620324
• Title: Ubiquitous Symmetry at Critical Points Across Diverse Optimization Landscapes
• Title（参考訳）: 多様な最適化景観における臨界点におけるユビキタス対称性
• Authors: Irmi Schneider,
• Abstract要約: より広い空間のクラスで定義される実数値損失関数の対称性現象について検討する。 ニューラルネットワークの場合と同様に、観察された全ての臨界点が非自明な対称性を持つことを示す。 システムに新しい対称性の測度を導入し、前回の測度では得られなかった追加の対称性構造を明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symmetry plays a crucial role in understanding the properties of mathematical structures and optimization problems. Recent work has explored this phenomenon in the context of neural networks, where the loss function is invariant under column and row permutations of the network weights. It has been observed that local minima exhibit significant symmetry with respect to the network weights (invariance to row and column permutations). And moreover no critical point was found that lacked symmetry. We extend this line of inquiry by investigating symmetry phenomena in real-valued loss functions defined on a broader class of spaces. We will introduce four more cases: the projective case over a finite field, the octahedral graph case, the perfect matching case, and the particle attraction case. We show that as in the neural network case, all the critical points observed have non-trivial symmetry. Finally we introduce a new measure of symmetry in the system and show that it reveals additional symmetry structures not captured by the previous measure.
• Abstract（参考訳）: 対称性は、数学的構造や最適化問題の性質を理解する上で重要な役割を果たす。 近年の研究では、損失関数がネットワーク重みの列と行の置換の下で不変であるニューラルネットワークの文脈で、この現象を探求している。 局所ミニマはネットワークの重み(行と列の置換の不変性)に対して有意な対称性を示すことが観察されている。 さらに、対称性に欠ける臨界点も見つからなかった。 我々は、より広い空間のクラスで定義される実数値損失関数における対称性現象を調査することによって、この探索の線を延長する。 有限体上の射影ケース、八面体グラフケース、完全マッチングケース、粒子アトラクションケースの4つのケースを紹介する。 ニューラルネットワークの場合と同様に、観察された全ての臨界点が非自明な対称性を持つことを示す。 最後に、システムに新しい対称性の測度を導入し、前回の測度で捉えられていない追加の対称性構造を明らかにする。

関連論文リスト

• Exceptional Points and Stability in Nonlinear Models of Population Dynamics having $\mathcal{PT}$ symmetry [49.1574468325115]
  我々は、進化ゲーム理論の複製子方程式と、人口動態のロトカ・ボルテラ系によって支配されるモデルを分析する。 a) 支配対称性特性がモデルの大域的性質と結びついている場合、および(b) それらの対称性が定常状態の周囲に局所的に現れる場合の2つのケースにおける例外点の出現について検討する。
  論文  参考訳（メタデータ） (2024-11-19T02:15:59Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Entanglement asymmetry in CFT and its relation to non-topological defects [0.0]
  エンタングルメント非対称性(英: entanglement asymmetric)は、拡張量子系の領域における対称性の破れの度合いを定量化する情報に基づく可観測性である。 CFTにより記述された1次元臨界系の基底状態におけるこの測定値について検討する。
  論文  参考訳（メタデータ） (2024-02-05T19:01:09Z)
• Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
  本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。 我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。 実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-11-07T19:07:16Z)
• Symmetry Induces Structure and Constraint of Learning [0.0]
  機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。 ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。 ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
  論文  参考訳（メタデータ） (2023-09-29T02:21:31Z)
• Emergence of non-Abelian SU(2) invariance in Abelian frustrated fermionic ladders [37.69303106863453]
  2脚の三角形のはしご上でスピンレスフェルミオンを相互作用させるシステムについて考察する。 顕微鏡的には、全フェルミオン電荷の保存に対応するU(1)対称性と離散$mathbbZ$対称性を示す。 3つの相の交点において、系は始点 SU(2) 対称性を持つ臨界点を特徴とする。
  論文  参考訳（メタデータ） (2023-05-11T15:57:27Z)
• Annihilation of Spurious Minima in Two-Layer ReLU Networks [9.695960412426672]
  正方形損失に対する2層ReLUニューラルネットワークの適合に関する最適化問題について検討する。 ニューロンを追加することで、対称的な刺激性のミニマをサドルに変えることができる。 また、損失関数の対称性構造から生じるある種の部分空間における降下方向の存在を証明した。
  論文  参考訳（メタデータ） (2022-10-12T11:04:21Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Noether: The More Things Change, the More Stay the Same [1.14219428942199]
  ネーターの有名な定理は対称性が保存された量につながると主張する。 勾配降下下のニューラルネットワークの領域では、モデル対称性は勾配経路の制約を暗示する。 対称性は、勾配降下下でのニューラルネットワークの性能を理解する上で、さらに重要なツールであると考えることができる。
  論文  参考訳（メタデータ） (2021-04-12T14:41:05Z)
• From Symmetry to Geometry: Tractable Nonconvex Problems [20.051126124841076]
  ランドスケープにおける曲率の役割と対称性の異なる役割について論じる。 これは観測された現象のオープンな問題に富んでいる。
  論文  参考訳（メタデータ） (2020-07-14T01:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。