論文の概要: Learning Neural Networks with Sparse Activations

• arxiv url: http://arxiv.org/abs/2406.17989v1
• Date: Wed, 26 Jun 2024 00:11:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 14:57:54.743425
• Title: Learning Neural Networks with Sparse Activations
• Title（参考訳）: スパースアクティベーションを用いたニューラルネットワークの学習
• Authors: Pranjal Awasthi, Nishanth Dikkala, Pritish Kamath, Raghu Meka,
• Abstract要約: 変圧器ネットワークでは、このブロックの隠された層における活性化は、任意の入力に対して非常に緩い傾向にある。 ネットワークから除去できるニューロンやウェイトが存在する従来のスペーシリティとは異なり、このエムアクティベーションのスペーシリティは利用するのが困難である。 関数のクラスが証明可能な計算と統計上の優位性をもたらすことを示す様々な結果を示す。
• 参考スコア（独自算出の注目度）: 42.88109060676769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A core component present in many successful neural network architectures, is an MLP block of two fully connected layers with a non-linear activation in between. An intriguing phenomenon observed empirically, including in transformer architectures, is that, after training, the activations in the hidden layer of this MLP block tend to be extremely sparse on any given input. Unlike traditional forms of sparsity, where there are neurons/weights which can be deleted from the network, this form of {\em dynamic} activation sparsity appears to be harder to exploit to get more efficient networks. Motivated by this we initiate a formal study of PAC learnability of MLP layers that exhibit activation sparsity. We present a variety of results showing that such classes of functions do lead to provable computational and statistical advantages over their non-sparse counterparts. Our hope is that a better theoretical understanding of {\em sparsely activated} networks would lead to methods that can exploit activation sparsity in practice.
• Abstract（参考訳）: 多くの成功したニューラルネットワークアーキテクチャに存在するコアコンポーネントは、2つの完全に接続されたレイヤのMLPブロックであり、その間に非線形アクティベーションがある。 トランスアーキテクチャーを含む経験的に観察される興味深い現象は、トレーニング後、このMLPブロックの隠された層における活性化が、任意の入力に対して極めて緩い傾向があることである。 ネットワークから削除できるニューロンやウェイトが存在する従来のスパシティとは異なり、この活性化空間の形式は、より効率的なネットワークを得るために利用するのが困難である。 本研究は,活性化空間を示すMLP層のPAC学習性に関する公式な研究を開始する。 このような関数のクラスが、非スパースな関数よりも証明可能な計算的および統計的優位性をもたらすことを示す様々な結果を示す。 我々の希望は、より理論的な {\em 活性化されたネットワークの理解が、実際にアクティベーション空間を活用できる方法に繋がることである。

関連論文リスト

• Deep Learning 2.0: Artificial Neurons That Matter -- Reject Correlation, Embrace Orthogonality [0.0]
  ヤット生産型ニューラルネットワークであるニューラルマターネットワーク(NMN)を導入する。 NMNは活性化機能のない非線形パターン認識を実現する。 Yat-MLPは、単純さと有効性を組み合わせたニューラルネットワーク設計の新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2024-11-12T16:52:51Z)
• Multilinear Operator Networks [60.7432588386185]
  ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。 マルチリニア演算子のみに依存するMONetを提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:52:19Z)
• Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference [2.0822643340897273]
  本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。 私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
  論文  参考訳（メタデータ） (2023-11-13T08:18:44Z)
• Gaining the Sparse Rewards by Exploring Lottery Tickets in Spiking Neural Network [8.210103222339784]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)よりも低レイテンシで低エネルギーな性質のため、有望なソリューションを提供する。 本稿では, スパイキング型LT (SLTs) について検討し, その特性と極端な効率性について検討した。 Patch Embedding Projection (ConvPEP)モジュールに畳み込み操作を組み込んだスパイキングトランスフォーマー構造に適したスパースアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2023-09-23T08:24:36Z)
• Layer-wise Feedback Propagation [53.00944147633484]
  本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。 各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• The Impact of Activation Sparsity on Overfitting in Convolutional Neural Networks [1.9424280683610138]
  オーバーフィッティングは畳み込みニューラルネットワークのトレーニングにおける基本的な課題の1つです。 本研究では,レイヤワイドアクティベーション対策の導出と可視化を目的としたパープレキシティに基づく空間性定義を提案する。
  論文  参考訳（メタデータ） (2021-04-13T12:55:37Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Activation function impact on Sparse Neural Networks [0.0]
  スパース進化的トレーニングは、完全に連結されたモデルと比較して計算の複雑さを著しく減らすことができる。 本研究は, 使用したアクティベーション関数とネットワーク性能の関係に関する知見を提供する。
  論文  参考訳（メタデータ） (2020-10-12T18:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。