論文の概要: Sparse Super-Regular Networks

• arxiv url: http://arxiv.org/abs/2201.01363v1
• Date: Tue, 4 Jan 2022 22:07:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-06 20:06:20.421164
• Title: Sparse Super-Regular Networks
• Title（参考訳）: スパーススーパーレギュラーネットワーク
• Authors: Andrew W.E. McDonald and Ali Shokoufandeh
• Abstract要約: 疎結合ニューラルネットワーク(SCN)は、完全接続ネットワーク(FCN)よりも性能が向上している、と論じられている。 スーパーレギュラーネットワーク(Super-Regular Network、SRN)は、(エプシロン、デルタ)-スーパーレギュラーペアの積み重ねられたスパース層とランダムに置換されたノードオーダーからなるニューラルネットワークである。 我々は、SRNが容易に再現可能な実験により、X-Netと同じような性能を示し、ネットワーク構造に対するはるかに大きな保証と制御を提供する。
• 参考スコア（独自算出の注目度）: 0.44689528869908496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It has been argued by Thom and Palm that sparsely-connected neural networks (SCNs) show improved performance over fully-connected networks (FCNs). Super-regular networks (SRNs) are neural networks composed of a set of stacked sparse layers of (epsilon, delta)-super-regular pairs, and randomly permuted node order. Using the Blow-up Lemma, we prove that as a result of the individual super-regularity of each pair of layers, SRNs guarantee a number of properties that make them suitable replacements for FCNs for many tasks. These guarantees include edge uniformity across all large-enough subsets, minimum node in- and out-degree, input-output sensitivity, and the ability to embed pre-trained constructs. Indeed, SRNs have the capacity to act like FCNs, and eliminate the need for costly regularization schemes like Dropout. We show that SRNs perform similarly to X-Nets via readily reproducible experiments, and offer far greater guarantees and control over network structure.
• Abstract（参考訳）: ThomとPalmは、疎結合ニューラルネットワーク(SCN)は完全接続ネットワーク(FCN)よりも性能が向上していると主張している。 超正則ネットワーク(super-regular network、srns)は、(epsilon、delta)超正則ペアの積み重ねられたスパース層と、ランダムに置換されたノード順序からなるニューラルネットワークである。 Blow-up Lemma を用いて、SRN は各層の個々の超規則性の結果、多くのタスクに対して FCN の置換を適切に行う多くの特性を保証することを証明した。 これらの保証には、すべての大容量サブセットのエッジ均一性、最小ノードのイン・アンド・アウト・ディフレクション、入出力感度、事前訓練されたコンストラクトを埋め込む機能が含まれる。 実際、SRNはFCNのように機能し、Dropoutのような高価な正規化スキームを必要としない能力を持っている。 我々は、SRNが容易に再現可能な実験により、X-Netと同じような性能を示し、ネットワーク構造に対するはるかに大きな保証と制御を提供する。

関連論文リスト

• NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
  Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。 本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。 提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
  論文  参考訳（メタデータ） (2024-02-29T16:10:21Z)
• Scalable Neural Network Kernels [22.299704296356836]
  我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。 また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。 我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
  論文  参考訳（メタデータ） (2023-10-20T02:12:56Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• A Probabilistic Approach to Neural Network Pruning [20.001091112545065]
  FCNとCNNの2つのプルーニング技術(ランダムおよび等級ベース)の性能について理論的に検討する。 その結果、対象ネットワークから指定された任意の境界内に、表現力を持つプルーンドネットワークが存在することが判明した。
  論文  参考訳（メタデータ） (2021-05-20T23:19:43Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Improving Neural Network with Uniform Sparse Connectivity [0.0]
  本研究では,各層に均一かつ疎結合な一様スパースネットワーク(USN)を提案する。 USNは、予測精度、速度、堅牢性において最先端のスパースネットワークモデルより一貫して、実質的に優れている。
  論文  参考訳（メタデータ） (2020-11-29T19:00:05Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Neural Parameter Allocation Search [57.190693718951316]
  ニューラルネットワークのトレーニングには、メモリの量を増やす必要がある。 既存の手法では、ネットワークには多くの同一層があり、一般化に失敗する手作りの共有戦略を利用する。 我々は、任意のパラメータ予算を与えられたニューラルネットワークをトレーニングする新しいタスクであるNPAS(Neural Allocation Search)を紹介する。 NPASは、コンパクトネットワークを創出する低予算体制と、推論FLOPを増大させることなく性能を高めるために、新たな高予算体制の両方をカバーしている。
  論文  参考訳（メタデータ） (2020-06-18T15:01:00Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。