論文の概要: Symmetry-via-Duality: Invariant Neural Network Densities from
Parameter-Space Correlators
- arxiv url: http://arxiv.org/abs/2106.00694v1
- Date: Tue, 1 Jun 2021 18:00:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-05 11:37:36.121771
- Title: Symmetry-via-Duality: Invariant Neural Network Densities from
Parameter-Space Correlators
- Title(参考訳): 対称性-via-duality:パラメータ空間相関器からの不変ニューラルネットワーク密度
- Authors: Anindita Maiti, Keegan Stoner, James Halverson
- Abstract要約: ネットワーク密度の対称性は、ネットワーク相関関数の二重計算によって決定できる。
初期密度における対称性の量は、Fashion-MNISTで訓練されたネットワークの精度に影響を与えることを示した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Parameter-space and function-space provide two different duality frames in
which to study neural networks. We demonstrate that symmetries of network
densities may be determined via dual computations of network correlation
functions, even when the density is unknown and the network is not equivariant.
Symmetry-via-duality relies on invariance properties of the correlation
functions, which stem from the choice of network parameter distributions. Input
and output symmetries of neural network densities are determined, which recover
known Gaussian process results in the infinite width limit. The mechanism may
also be utilized to determine symmetries during training, when parameters are
correlated, as well as symmetries of the Neural Tangent Kernel. We demonstrate
that the amount of symmetry in the initialization density affects the accuracy
of networks trained on Fashion-MNIST, and that symmetry breaking helps only
when it is in the direction of ground truth.
- Abstract(参考訳): パラメータ空間と関数空間は、ニューラルネットワークを研究するための2つの異なる双対フレームを提供する。
ネットワーク密度の対称性は、密度が未知で同値でない場合でも、ネットワーク相関関数の双対計算によって決定できることを示す。
対称性と双対性は、ネットワークパラメータ分布の選択に由来する相関関数の不変性に依存する。
ニューラルネットワーク密度の入力および出力対称性が決定され、既知のガウス過程が回復すると無限の幅制限が生じる。
このメカニズムは、パラメータが相関している場合や、神経接核の対称性など、トレーニング中の対称性を決定するためにも利用できる。
初期化密度における対称性の量は、Fashion-MNISTで訓練されたネットワークの精度に影響を及ぼし、対称性の破れは、それが基底真理の方向にある場合にのみ役立つことを実証する。
関連論文リスト
- Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。
我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。
実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
論文 参考訳(メタデータ) (2023-11-07T19:07:16Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳(メタデータ) (2023-10-09T20:22:43Z) - Hidden symmetries of ReLU networks [17.332539115959708]
一部のネットワークでは、ある層内のニューロンの置換と、ニューロンにおけるパラメータの正のスケーリングが唯一の対称性であり、他のネットワークでは、追加の隠れ対称性が認められる。
本研究では, 層が入力よりも狭いネットワークアーキテクチャでは, 隠れ対称性を持たないパラメータ設定が存在することを証明した。
論文 参考訳(メタデータ) (2023-06-09T18:07:06Z) - Order-invariant two-photon quantum correlations in PT-symmetric
interferometers [62.997667081978825]
線形フォトニック量子ネットワークにおける多光子相関は行列永久性によって制御される。
個々のビルディングブロックからのネットワークの全体的多光子挙動は直観に反する。
この結果は,小規模の非エルミートネットワークにおいても,量子相関を直感的に保存する新たな方法の導出となる。
論文 参考訳(メタデータ) (2023-02-23T09:43:49Z) - Interrelation of equivariant Gaussian processes and convolutional neural
networks [77.34726150561087]
現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。
本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
論文 参考訳(メタデータ) (2022-09-17T17:02:35Z) - Approximately Equivariant Networks for Imperfectly Symmetric Dynamics [24.363954435050264]
我々のモデルは、シミュレーションされた乱流領域と実世界のマルチストリームジェット流の両方において、対称性バイアスのないベースラインと過度に厳密な対称性を持つベースラインの両方より優れていることが判明した。
論文 参考訳(メタデータ) (2022-01-28T07:31:28Z) - Encoding Involutory Invariance in Neural Networks [1.6371837018687636]
ある状況では、ニューラルネットワーク(NN)は、基礎となる物理対称性に従うデータに基づいて訓練される。
本研究では、関数がパリティまでのインボリュート線型/ファイン変換に対して不変な特別な対称性について検討する。
数値実験により,提案モデルが与えられた対称性を尊重しながらベースラインネットワークより優れていたことが示唆された。
また,本手法を水平/垂直反射対称性を持つデータセットに対する畳み込みNN分類タスクに適用する手法も提案されている。
論文 参考訳(メタデータ) (2021-06-07T16:07:15Z) - Sampling asymmetric open quantum systems for artificial neural networks [77.34726150561087]
非対称な開系に対する高速収束時間と高いスケーラビリティを実現し,非対称性を考慮したハイブリッドサンプリング戦略を提案する。
我々は、ニューラルネットワークの普遍的適用性を強調し、ニューラルネットワークの普遍的適用性を概説する。
論文 参考訳(メタデータ) (2020-12-20T18:25:29Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Detecting Symmetries with Neural Networks [0.0]
ニューラルネットワークの埋め込み層における構造を広範囲に活用する。
我々は、対称性が存在するかどうかを特定し、入力中の対称性の軌道を特定する。
この例では、グラフの観点で新しいデータ表現を示す。
論文 参考訳(メタデータ) (2020-03-30T17:58:24Z) - 'Place-cell' emergence and learning of invariant data with restricted
Boltzmann machines: breaking and dynamical restoration of continuous
symmetries in the weight space [0.0]
本稿では,表現学習のためのニューラルネットワークパラダイムである拘束ボルツマンマシン(RBM)の学習力学について検討する。
ネットワーク重みのランダムな構成から学習が進むにつれて、対称性を破る現象の存在が示される。
この対称性を破る現象は、トレーニングに利用できるデータの量がいくつかの臨界値を超える場合にのみ起こる。
論文 参考訳(メタデータ) (2019-12-30T14:37:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。