論文の概要: A General Framework For Proving The Equivariant Strong Lottery Ticket Hypothesis

• arxiv url: http://arxiv.org/abs/2206.04270v1
• Date: Thu, 9 Jun 2022 04:40:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 15:29:46.363934
• Title: A General Framework For Proving The Equivariant Strong Lottery Ticket Hypothesis
• Title（参考訳）: 等価なロテリチケット仮説を証明するための一般的なフレームワーク
• Authors: Damien Ferbach, Christos Tsirigotis, Gauthier Gidel, and Avishek (Joey) Bose
• Abstract要約: 現代のニューラルネットワークは、単なる翻訳対称性以上のものを組み込むことができる。 我々は、Strong Lottery Ticket hypothesis (SLTH) を群$G$の作用を保存する関数に一般化する。 オーバーパラメータ化$textE(2)$-steerable CNNとメッセージパッシングGNNによって、我々の理論を証明します。
• 参考スコア（独自算出の注目度）: 15.376680573592997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Strong Lottery Ticket Hypothesis (SLTH) stipulates the existence of a subnetwork within a sufficiently overparameterized (dense) neural network that -- when initialized randomly and without any training -- achieves the accuracy of a fully trained target network. Recent work by \citet{da2022proving} demonstrates that the SLTH can also be extended to translation equivariant networks -- i.e. CNNs -- with the same level of overparametrization as needed for SLTs in dense networks. However, modern neural networks are capable of incorporating more than just translation symmetry, and developing general equivariant architectures such as rotation and permutation has been a powerful design principle. In this paper, we generalize the SLTH to functions that preserve the action of the group $G$ -- i.e. $G$-equivariant network -- and prove, with high probability, that one can prune a randomly initialized overparametrized $G$-equivariant network to a $G$-equivariant subnetwork that approximates another fully trained $G$-equivariant network of fixed width and depth. We further prove that our prescribed overparametrization scheme is also optimal as a function of the error tolerance. We develop our theory for a large range of groups, including important ones such as subgroups of the Euclidean group $\text{E}(n)$ and subgroups of the symmetric group $G \leq \mathcal{S}_n$ -- allowing us to find SLTs for MLPs, CNNs, $\text{E}(2)$-steerable CNNs, and permutation equivariant networks as specific instantiations of our unified framework which completely extends prior work. Empirically, we verify our theory by pruning overparametrized $\text{E}(2)$-steerable CNNs and message passing GNNs to match the performance of trained target networks within a given error tolerance.
• Abstract（参考訳）: strong lottery ticket hypothesis(slth)は、トレーニングなしでランダムに初期化した場合に、完全に訓練されたターゲットネットワークの精度を達成する、十分な過パラメータ(dense)ニューラルネットワーク内にサブネットワークが存在することを規定している。 citet{da2022proving} による最近の研究は、SLTH が高密度ネットワークにおいて SLT に必要となるオーバーパラメトリゼーションのレベルと同じレベルの変換同変ネットワーク、すなわち CNN にも拡張可能であることを示した。 しかし、現代のニューラルネットワークは単なる翻訳対称性以上のものを組み込むことができ、回転や置換のような一般的な同変アーキテクチャの開発は強力な設計原理である。 本稿では、slth を $g$ --すなわち $g$-equivariant network -- 群の作用を保存する関数に一般化し、高確率で、ランダムに初期化された過パラメータ化された $g$-equivariant network を $g$-equivariant subnetwork に従わせることができることを証明し、これは固定幅と深さの完全に訓練された$g$-equivariant network に近似する。 さらに, 所定の過パラメータ化方式は, 誤差耐性の関数としても最適であることを示す。 我々は、ユークリッド群 $\text{E}(n)$ の部分群や対称群 $G \leq \mathcal{S}_n$ の部分群のような重要な群を含む、幅広い群に対する理論を開発し、MLP、CNN、$\text{E}(2)$-steerable CNN、および、前処理を完全に拡張した統一フレームワークの特定のインスタンス化として置換同変ネットワークを見つけることができる。 実験により,過度にパラメータ化された $\text{E}(2)$-steerable CNN とメッセージパッシング GNN を用いて,与えられたエラー許容範囲内でのトレーニング対象ネットワークの性能とを一致させることで,我々の理論を検証する。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• G-RepsNet: A Fast and General Construction of Equivariant Networks for Arbitrary Matrix Groups [8.24167511378417]
  グループ同変ネットワークは、幅広いディープラーニングタスクにおいて有用である。 本稿では,グループ表現ネットワーク(G-RepsNets)について紹介する。 G-RepsNetはG-FNO (Helwig et al., 2023) とEGNN (Satorras et al., 2023) にそれぞれN体予測とPDEの解について競合することを示す。
  論文  参考訳（メタデータ） (2024-02-23T16:19:49Z)
• Implicit Convolutional Kernels for Steerable CNNs [5.141137421503899]
  ステアブル畳み込みニューラルネットワーク(CNN)は、原点保存グループ$G$の翻訳と変換に等しいニューラルネットワークを構築するための一般的なフレームワークを提供する。 本稿では,多層パーセプトロン(MLP)による暗黙的ニューラル表現を用いて,$G$-steerableカーネルのパラメータ化を提案する。 我々は,N体シミュレーション,点雲分類,分子特性予測など,複数のタスクにおける本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-12T18:10:33Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Universality of group convolutional neural networks based on ridgelet analysis on groups [10.05944106581306]
  グループ畳み込みニューラルネットワーク(GCNN)のリッジレット理論に基づく近似特性について検討する。 群表現間の非線形写像として多目的GCNNを定式化する。
  論文  参考訳（メタデータ） (2022-05-30T02:52:22Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Implicit Bias of Linear Equivariant Networks [2.580765958706854]
  群同変畳み込みニューラルネットワーク(G-CNN)は畳み込みニューラルネットワーク(CNN)の一般化である 低ランクフーリエ行列係数の解に勾配勾配勾配を学習した$L$層全幅線形G-CNNが収束することを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:34:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。