論文の概要: Symmetry Breaking in Neural Network Optimization: Insights from Input Dimension Expansion

• arxiv url: http://arxiv.org/abs/2409.06402v2
• Date: Thu, 12 Sep 2024 10:47:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 13:20:50.090121
• Title: Symmetry Breaking in Neural Network Optimization: Insights from Input Dimension Expansion
• Title（参考訳）: ニューラルネットワーク最適化における対称性の破れ:入力次元拡大からの考察
• Authors: Jun-Jie Zhang, Nan Cheng, Fu-Peng Li, Xiu-Cheng Wang, Jian-Nan Chen, Long-Gang Pang, Deyu Meng,
• Abstract要約: 単純な入力拡張により、様々なタスクにおけるネットワーク性能が大幅に向上することを示す。 対称性の破れの度合いを定量化することにより,性能向上のための実践的手法と,ネットワーク設計の指針となる指標を提供する。
• 参考スコア（独自算出の注目度）: 41.170854872233534
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Understanding the mechanisms behind neural network optimization is crucial for improving network design and performance. While various optimization techniques have been developed, a comprehensive understanding of the underlying principles that govern these techniques remains elusive. Specifically, the role of symmetry breaking, a fundamental concept in physics, has not been fully explored in neural network optimization. This gap in knowledge limits our ability to design networks that are both efficient and effective. Here, we propose the symmetry breaking hypothesis to elucidate the significance of symmetry breaking in enhancing neural network optimization. We demonstrate that a simple input expansion can significantly improve network performance across various tasks, and we show that this improvement can be attributed to the underlying symmetry breaking mechanism. We further develop a metric to quantify the degree of symmetry breaking in neural networks, providing a practical approach to evaluate and guide network design. Our findings confirm that symmetry breaking is a fundamental principle that underpins various optimization techniques, including dropout, batch normalization, and equivariance. By quantifying the degree of symmetry breaking, our work offers a practical technique for performance enhancement and a metric to guide network design without the need for complete datasets and extensive training processes.
• Abstract（参考訳）: ニューラルネットワーク最適化の背後にあるメカニズムを理解することは、ネットワーク設計と性能を改善する上で不可欠である。 様々な最適化技術が開発されているが、これらの技術を管理する基礎となる原則の包括的な理解はいまだ解明されていない。 特に、物理における基本的な概念である対称性の破れの役割は、ニューラルネットワークの最適化において完全には研究されていない。 この知識のギャップは、効率的かつ効果的にネットワークを設計する能力を制限します。 本稿では,ニューラルネットワーク最適化の強化における対称性破れの意義を明らかにするために,対称性破れ仮説を提案する。 単純な入力拡張は様々なタスクにおけるネットワーク性能を著しく向上させることができることを実証し、この改善は基礎となる対称性の破れ機構によるものであることを示す。 さらに、ニューラルネットワークにおける対称性の破れの程度を定量化する指標を開発し、ネットワーク設計の評価とガイドを行うための実践的なアプローチを提供する。 その結果, 対称性の破れは, ドロップアウト, バッチ正規化, 等分散など, 様々な最適化手法の基盤となる基本原理であることが確認された。 対称性の破れの度合いを定量化することにより、我々の研究は、パフォーマンス向上のための実践的な技術と、完全なデータセットや広範なトレーニングプロセスを必要としない、ネットワーク設計をガイドする指標を提供する。

関連論文リスト

• Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
  指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。 適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
  論文  参考訳（メタデータ） (2024-09-25T09:27:17Z)
• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• SySMOL: Co-designing Algorithms and Hardware for Neural Networks with Heterogeneous Precisions [20.241671088121144]
  最近の量子化技術は、非常に微細な粒度で不均一な精度を実現している。 これらのネットワークは、個々の変数の精度設定をデコードし、変数を調整し、きめ細かい混合精度計算機能を提供するために、追加のハードウェアを必要とする。 ネットワークを細粒度の不均一な精度で効率的に実行するためのエンド・ツー・エンド協調設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:20:09Z)
• Power-Enhanced Residual Network for Function Approximation and Physics-Informed Inverse Problems [0.0]
  本稿では、パワーエンハンシング残差ネットワークと呼ばれる新しいニューラルネットワーク構造を提案する。 2Dおよび3D設定におけるスムーズかつ非スムーズな関数近似のネットワーク機能を改善する。 その結果、特に非滑らか関数に対して、提案したパワーエンハンシング残差ネットワークの例外的精度を強調した。
  論文  参考訳（メタデータ） (2023-10-24T10:01:15Z)
• No Wrong Turns: The Simple Geometry Of Neural Networks Optimization Paths [12.068608358926317]
  1次最適化アルゴリズムは、ディープニューラルネットワークにおいて好ましいミニマを効率的に見つけることが知られている。 2つの鍵経路における標本最適化量の基本的な幾何学的性質に焦点をあてる。 以上の結果から,最適化トラジェクトリは大きな障害に遭遇しないだけでなく,ほとんどのトレーニングにおいて安定なダイナミクスも維持できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-20T22:10:40Z)
• Neural Network Training with Asymmetric Crosspoint Elements [1.0773924713784704]
  実用的な抵抗装置の非対称コンダクタンス変調は、従来のアルゴリズムで訓練されたネットワークの分類を著しく劣化させる。 ここでは、ハミルトニアン Descent という代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。 我々は、なぜデバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れないのか、新しいアプローチがどのようにそれを有用な機能として利用するのか、という批判的な直感を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:41:36Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。