論文の概要: Memorization Capacity of Neural Networks with Conditional Computation
- arxiv url: http://arxiv.org/abs/2303.11247v1
- Date: Mon, 20 Mar 2023 16:33:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 14:31:14.494717
- Title: Memorization Capacity of Neural Networks with Conditional Computation
- Title（参考訳）: 条件計算によるニューラルネットワークの記憶能力
- Authors: Erdem Koyuncu
- Abstract要約: 我々は,$O(sqrtn)$ニューロンを用いたニューラルネットワークを用いて,$n$の入力出力関係の集合を記憶できることを実証した。
条件付きReLUネットワークを用いて,入力あたりのO(log n)$演算のみを用いて同じタスクを実現できることを示す。
- 参考スコア（独自算出の注目度）: 14.048989759890475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many empirical studies have demonstrated the performance benefits of
conditional computation in neural networks, including reduced inference time
and power consumption. We study the fundamental limits of neural conditional
computation from the perspective of memorization capacity. For Rectified Linear
Unit (ReLU) networks without conditional computation, it is known that
memorizing a collection of $n$ input-output relationships can be accomplished
via a neural network with $O(\sqrt{n})$ neurons. Calculating the output of this
neural network can be accomplished using $O(\sqrt{n})$ elementary arithmetic
operations of additions, multiplications and comparisons for each input. Using
a conditional ReLU network, we show that the same task can be accomplished
using only $O(\log n)$ operations per input. This represents an almost
exponential improvement as compared to networks without conditional
computation. We also show that the $\Theta(\log n)$ rate is the best possible.
Our achievability result utilizes a general methodology to synthesize a
conditional network out of an unconditional network in a
computationally-efficient manner, bridging the gap between unconditional and
conditional architectures.
- Abstract（参考訳）: 多くの実証的研究は、推論時間と消費電力の削減を含むニューラルネットワークにおける条件計算の性能上の利点を実証している。
記憶能力の観点から神経条件計算の基本限界について検討する。
条件計算のないReLU(Rectified Linear Unit)ネットワークでは、$O(\sqrt{n})$のニューロンを持つニューラルネットワークを用いて、$n$の入出力関係の集合を記憶できることが知られている。
このニューラルネットワークの出力を計算するには、各入力に対する加算、乗法、比較の基本的な算術演算である$o(\sqrt{n})を用いる。
条件付きReLUネットワークを用いて、入力毎に$O(\log n)$演算だけを用いて同じタスクを実現できることを示す。
これは条件付き計算のないネットワークと比較してほぼ指数関数的な改善である。
また、$\Theta(\log n)$ レートが最良であることを示す。
我々の達成性は、非条件ネットワークから条件ネットワークを計算効率良く合成する一般的な手法を利用して、非条件アーキテクチャと条件アーキテクチャのギャップを埋める。
関連論文リスト
- On the Complexity of Neural Computation in Superposition [3.9803704378699103]
ニューラルネットワークの理解の最近の進歩は、重畳が大規模ネットワークの計算効率の根底にある重要なメカニズムであることを示唆している。
ペアワイズのような論理演算は、$O(sqrtm' log m')$ ニューロンと$O(m' log2 m')$パラメータで計算できる。
本研究は,ニューラルネットワークの解釈可能性研究における複雑性理論手法の活用の道を開くものである。
論文 参考訳（メタデータ） (2024-09-05T18:58:59Z) - Moccasin: Efficient Tensor Rematerialization for Neural Networks [21.348126106786914]
我々はtextscMoccasin という新しい制約プログラミングの定式化を開発し,O(n)$ の整数変数しか持たない。
本稿では,特に大規模グラフにおいて,我々のアプローチが最近の研究よりも桁違いに高速であることを示す数値的研究について述べる。
論文 参考訳（メタデータ） (2023-04-27T18:41:37Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Does Preprocessing Help Training Over-parameterized Neural Networks? [19.64638346701198]
我々は,$Omega(mnd)$バリアをバイパスする2つの新しい前処理手法を提案する。
本研究は,これまでに確立された高速訓練法について理論的考察を行った。
論文 参考訳（メタデータ） (2021-10-09T18:16:23Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳（メタデータ） (2021-07-19T23:41:03Z) - ReLU Neural Networks of Polynomial Size for Exact Maximum Flow Computation [5.35599092568615]
本稿では,線形整流ユニットを用いたニューラルネットワークのパワーについて検討する。
我々は,2つの基本最適化問題を$mathcalO(m2n2)$のニューラルネットワークで解くことができることを示した。
論文 参考訳（メタデータ） (2021-02-12T17:23:34Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。
IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。
本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文 参考訳（メタデータ） (2020-07-12T20:43:56Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。