論文の概要: Implicit Bias of Linear Equivariant Networks
- arxiv url: http://arxiv.org/abs/2110.06084v1
- Date: Tue, 12 Oct 2021 15:34:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-13 13:13:52.475318
- Title: Implicit Bias of Linear Equivariant Networks
- Title（参考訳）: 線形同変ネットワークの入射バイアス
- Authors: Hannah Lawrence, Kristian Georgiev, Andrew Dienes, Bobak T. Kiani
- Abstract要約: 群同変畳み込みニューラルネットワーク(G-CNN)は畳み込みニューラルネットワーク(CNN)の一般化である
低ランクフーリエ行列係数の解に勾配勾配勾配を学習した$L$層全幅線形G-CNNが収束することを示す。
- 参考スコア（独自算出の注目度）: 2.580765958706854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Group equivariant convolutional neural networks (G-CNNs) are generalizations
of convolutional neural networks (CNNs) which excel in a wide range of
scientific and technical applications by explicitly encoding group symmetries,
such as rotations and permutations, in their architectures. Although the
success of G-CNNs is driven by the explicit symmetry bias of their
convolutional architecture, a recent line of work has proposed that the
implicit bias of training algorithms on a particular parameterization (or
architecture) is key to understanding generalization for overparameterized
neural nets. In this context, we show that $L$-layer full-width linear G-CNNs
trained via gradient descent in a binary classification task converge to
solutions with low-rank Fourier matrix coefficients, regularized by the
$2/L$-Schatten matrix norm. Our work strictly generalizes previous analysis on
the implicit bias of linear CNNs to linear G-CNNs over all finite groups,
including the challenging setting of non-commutative symmetry groups (such as
permutations). We validate our theorems via experiments on a variety of groups
and empirically explore more realistic nonlinear networks, which locally
capture similar regularization patterns. Finally, we provide intuitive
interpretations of our Fourier space implicit regularization results in real
space via uncertainty principles.
- Abstract（参考訳）: g-cnns (group equivariant convolutional neural network) は畳み込みニューラルネットワーク (convolutional neural networks, cnns) の一般化であり、そのアーキテクチャにおいて、回転や置換といった群対称性を明示的にエンコードすることで、幅広い科学的および技術的応用に優れている。
g-cnnsの成功は、畳み込みアーキテクチャの明示的な対称性バイアスによって導かれるが、最近の研究は、特定のパラメータ化(あるいはアーキテクチャ)におけるトレーニングアルゴリズムの暗黙のバイアスが、過剰パラメータ化されたニューラルネットワークの一般化を理解する上で鍵となると提案している。
この文脈では、二進分類タスクにおける勾配降下により訓練された$L$層全幅線形G-CNNが、低ランクフーリエ行列係数の解に収束し、2/L$-Schatten行列ノルムで正規化されることを示す。
本研究は,すべての有限群上の線形g-cnnに対する線形cnnの暗黙的バイアスに関する先行分析を厳密に一般化し,非可換対称性群(置換など)の難解な設定を含む。
様々な群の実験を通して定理を検証するとともに、局所的に類似の正規化パターンを捉えたより現実的な非線形ネットワークを実証的に探究する。
最後に、不確実性原理を通じて実空間におけるフーリエ空間の暗黙正規化結果の直観的な解釈を提供する。
関連論文リスト
- Symmetry-Based Structured Matrices for Efficient Approximately Equivariant Networks [5.187307904567701]
群行列(英: Group Matrices, GM)は、有限群の正規表現の現代的概念の忘れ去られた前駆体である。
GMは、CNNのすべての基本的な操作を一般的な離散グループに拡張するために使用できる。
GMは、CNNのすべての基本動作を一般的な離散グループに拡張するために使用できることを示す。
論文 参考訳（メタデータ） (2024-09-18T07:52:33Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Neural Tangent Kernels Motivate Graph Neural Networks with
Cross-Covariance Graphs [94.44374472696272]
グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。
その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。
これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
論文 参考訳（メタデータ） (2023-10-16T19:54:21Z) - Geometrical aspects of lattice gauge equivariant convolutional neural
networks [0.0]
格子ゲージ同変畳み込みニューラルネットワーク(L-CNN)は、非アベリア格子ゲージ理論に適用可能な畳み込みニューラルネットワークの枠組みである。
論文 参考訳（メタデータ） (2023-03-20T20:49:08Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Globally Gated Deep Linear Networks [3.04585143845864]
我々はGGDLN(Globally Gated Deep Linear Networks)を導入する。
有限幅熱力学極限におけるこれらのネットワークの一般化特性の正確な方程式を導出する。
我々の研究は、有限幅の非線形ネットワークの族における学習に関する最初の正確な理論解である。
論文 参考訳（メタデータ） (2022-10-31T16:21:56Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Revisiting Transformation Invariant Geometric Deep Learning: Are Initial
Representations All You Need? [80.86819657126041]
変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。
具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。
我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
論文 参考訳（メタデータ） (2021-12-23T03:52:33Z) - Lattice gauge symmetry in neural networks [0.0]
格子ゲージ同変畳み込みニューラルネットワーク(L-CNN)と呼ばれる新しいニューラルネットワークアーキテクチャについてレビューする。
我々は、ゲージ同変畳み込み層と双線型層を明示的に構築するために使用するゲージ同値の概念について議論する。
L-CNNと等価でないCNNの性能は、一見単純な非線形回帰タスクを用いて比較する。
論文 参考訳（メタデータ） (2021-11-08T11:20:11Z) - Lattice gauge equivariant convolutional neural networks [0.0]
汎用機械学習アプリケーションのためのLattice gauge equivariant Convolutional Neural Networks (L-CNNs)を提案する。
L-CNNは従来の畳み込みニューラルネットワークでは見つけられないゲージ不変量を学習・一般化できることを示した。
論文 参考訳（メタデータ） (2020-12-23T19:00:01Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。