論文の概要: The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof

• arxiv url: http://arxiv.org/abs/2405.20231v2
• Date: Thu, 20 Jun 2024 12:11:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 03:39:39.208702
• Title: The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof
• Title（参考訳）: ニューラルパラメータ対称性の実証的影響, あるいはその欠落
• Authors: Derek Lim, Moe Putterman, Robin Walters, Haggai Maron, Stefanie Jegelka,
• Abstract要約: 本稿では,パラメータ空間対称性を低減した新しいニューラルネットワークアーキテクチャを導入することにより,ニューラルパラメータ対称性の影響について検討する。 重み空間をアライメントすることなく、ネットワーク間の線形モード接続を観測し、ネットワークがより高速で効果的なベイズニューラルネットワークトレーニングを可能にすることを発見した。
• 参考スコア（独自算出の注目度）: 50.49582712378289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many algorithms and observed phenomena in deep learning appear to be affected by parameter symmetries -- transformations of neural network parameters that do not change the underlying neural network function. These include linear mode connectivity, model merging, Bayesian neural network inference, metanetworks, and several other characteristics of optimization or loss-landscapes. However, theoretical analysis of the relationship between parameter space symmetries and these phenomena is difficult. In this work, we empirically investigate the impact of neural parameter symmetries by introducing new neural network architectures that have reduced parameter space symmetries. We develop two methods, with some provable guarantees, of modifying standard neural networks to reduce parameter space symmetries. With these new methods, we conduct a comprehensive experimental study consisting of multiple tasks aimed at assessing the effect of removing parameter symmetries. Our experiments reveal several interesting observations on the empirical impact of parameter symmetries; for instance, we observe linear mode connectivity between our networks without alignment of weight spaces, and we find that our networks allow for faster and more effective Bayesian neural network training.
• Abstract（参考訳）: ディープラーニングにおける多くのアルゴリズムと観察された現象は、基礎となるニューラルネットワーク機能を変えないニューラルネットワークパラメータの変換であるパラメータ対称性の影響を受けているように見える。 これには線形モード接続、モデルマージ、ベイジアンニューラルネットワーク推論、メタネットワーク、その他いくつかの最適化や損失ランドスケープの特徴が含まれている。 しかし、パラメータ空間対称性とこれらの現象の関係の理論解析は困難である。 本研究では,パラメータ空間対称性を低減した新しいニューラルネットワークアーキテクチャを導入することにより,ニューラルネットワークのパラメータ対称性の影響を実証的に検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 これらの手法により,パラメータ対称性の除去効果を評価するために,複数のタスクからなる総合的な実験を行った。 例えば、重み空間のアライメントを伴わずにネットワーク間の線形モード接続を観測し、ネットワークがより高速で効果的なベイズニューラルネットワークトレーニングを可能にすることを発見した。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Unification of Symmetries Inside Neural Networks: Transformer, Feedforward and Neural ODE [2.002741592555996]
  本研究では,ゲージ対称性(ゲージ対称性)の原理をニューラルネットワークアーキテクチャに適用することにより,新しいアプローチを提案する。 数理的にニューラルネットワークのパラメトリックな冗長性を定式化し、それらのゲージ対称性が時空微分同相によって与えられることを確かめる。 ニューラルネットワークをフィードフォワードニューラルネットワークの連続的なバージョンと見なすと、フィードフォワードニューラルネットワークのパラメトリック冗長性は、実際にニューラルネットワークの微分同相性へと持ち上げられることを示す。
  論文  参考訳（メタデータ） (2024-02-04T06:11:54Z)
• Hidden symmetries of ReLU networks [17.332539115959708]
  一部のネットワークでは、ある層内のニューロンの置換と、ニューロンにおけるパラメータの正のスケーリングが唯一の対称性であり、他のネットワークでは、追加の隠れ対称性が認められる。 本研究では, 層が入力よりも狭いネットワークアーキテクチャでは, 隠れ対称性を持たないパラメータ設定が存在することを証明した。
  論文  参考訳（メタデータ） (2023-06-09T18:07:06Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Annihilation of Spurious Minima in Two-Layer ReLU Networks [9.695960412426672]
  正方形損失に対する2層ReLUニューラルネットワークの適合に関する最適化問題について検討する。 ニューロンを追加することで、対称的な刺激性のミニマをサドルに変えることができる。 また、損失関数の対称性構造から生じるある種の部分空間における降下方向の存在を証明した。
  論文  参考訳（メタデータ） (2022-10-12T11:04:21Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Encoding Involutory Invariance in Neural Networks [1.6371837018687636]
  ある状況では、ニューラルネットワーク(NN)は、基礎となる物理対称性に従うデータに基づいて訓練される。 本研究では、関数がパリティまでのインボリュート線型/ファイン変換に対して不変な特別な対称性について検討する。 数値実験により,提案モデルが与えられた対称性を尊重しながらベースラインネットワークより優れていたことが示唆された。 また,本手法を水平/垂直反射対称性を持つデータセットに対する畳み込みNN分類タスクに適用する手法も提案されている。
  論文  参考訳（メタデータ） (2021-06-07T16:07:15Z)
• Symmetry-via-Duality: Invariant Neural Network Densities from Parameter-Space Correlators [0.0]
  ネットワーク密度の対称性は、ネットワーク相関関数の二重計算によって決定できる。 初期密度における対称性の量は、Fashion-MNISTで訓練されたネットワークの精度に影響を与えることを示した。
  論文  参考訳（メタデータ） (2021-06-01T18:00:06Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。