論文の概要: Neural Arithmetic Units

• arxiv url: http://arxiv.org/abs/2001.05016v1
• Date: Tue, 14 Jan 2020 19:35:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 12:14:55.608226
• Title: Neural Arithmetic Units
• Title（参考訳）: 神経演算ユニット
• Authors: Andreas Madsen, Alexander Rosenberg Johansen
• Abstract要約: ニューラルネットワークは複雑な関数を近似することができるが、実数に対して正確な算術演算を行うのに苦労する。 ニューラルネットワークコンポーネントとして、正確な加算と減算を学習可能なニューラル加算ユニット(NAU)と、ベクトルのサブセットを乗算可能なニューラル乗算ユニット(NMU)がある。 提案したユニットNAUとNMUは、従来のニューラルネットワークユニットと比較して、より一貫して収束し、パラメータを少なくし、より速く学習し、より大きな隠れたサイズに収束し、スパースと意味のある重みを得、負の値と小さな値に外挿することができる。
• 参考スコア（独自算出の注目度）: 84.65228064780744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks can approximate complex functions, but they struggle to perform exact arithmetic operations over real numbers. The lack of inductive bias for arithmetic operations leaves neural networks without the underlying logic necessary to extrapolate on tasks such as addition, subtraction, and multiplication. We present two new neural network components: the Neural Addition Unit (NAU), which can learn exact addition and subtraction; and the Neural Multiplication Unit (NMU) that can multiply subsets of a vector. The NMU is, to our knowledge, the first arithmetic neural network component that can learn to multiply elements from a vector, when the hidden size is large. The two new components draw inspiration from a theoretical analysis of recently proposed arithmetic components. We find that careful initialization, restricting parameter space, and regularizing for sparsity is important when optimizing the NAU and NMU. Our proposed units NAU and NMU, compared with previous neural units, converge more consistently, have fewer parameters, learn faster, can converge for larger hidden sizes, obtain sparse and meaningful weights, and can extrapolate to negative and small values.
• Abstract（参考訳）: ニューラルネットワークは複雑な関数を近似することができるが、実数に対して正確な演算を行うのに苦労する。 算術演算における帰納バイアスの欠如は、加算、減算、乗算といったタスクに外挿するために必要な基礎となる論理を含まないニューラルネットワークを残している。 ニューラルネットワークコンポーネントとして、正確な加算と減算を学習可能なニューラル加算ユニット(NAU)と、ベクトルのサブセットを乗算可能なニューラル乗算ユニット(NMU)がある。 nmuは、私たちの知識では、隠れたサイズが大きくなると、ベクトルから要素を乗算することを学ぶことができる最初の算術ニューラルネットワークコンポーネントです。 この2つの新しい成分は、最近提案された算術成分の理論解析からインスピレーションを得ている。 NAUとNMUを最適化する際には、注意深い初期化、パラメータ空間の制限、空間の規則化が重要である。 提案するニューラルユニットnauとnmuは,従来のニューラルユニットと比較して,より一貫して収束し,パラメータを少なくし,より速く学習し,より大きな隠れたサイズで収束し,ばらばらで有意義な重みを得て,負の値と小さい値に外挿することができる。

関連論文リスト

• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Reachability In Simple Neural Networks [2.7195102129095003]
  NP-hardnessは、単純な仕様とニューラルネットワークの制限されたクラスをすでに保持していることを示す。 我々は、ニューラルネットワーク検証研究のこの方向の展開の可能性について、徹底的な議論と展望を行う。
  論文  参考訳（メタデータ） (2022-03-15T14:25:44Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Floating-Point Multiplication Using Neuromorphic Computing [3.5450828190071655]
  IEEE 754準拠浮動小数点乗算を行うニューロモルフィックシステムについて述べる。 本研究では,ビット毎のニューロン数が精度およびビット誤り率に及ぼす影響について検討し,各成分に必要なニューロン数を推定する。
  論文  参考訳（メタデータ） (2020-08-30T19:07:14Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Neural Power Units [1.7188280334580197]
  実数の全領域で動作するニューラルパワーユニット(NPU)を導入し,任意のパワー関数を単一層で学習することができる。 我々は,NPUが人工算術データセットの精度と疎性という点で,競合より優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-02T14:58:07Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)
• iNALU: Improved Neural Arithmetic Logic Unit [2.331160520377439]
  最近提案されたNeural Arithmetic Logic Unit (NALU)は、ネットワークのユニットによって数学的関係を明確に表現し、和、減算、乗算などの操作を学ぶことができる新しいニューラルネットワークである。 本稿では,本モデルが安定性の問題を解き,算術精度と収束性により元のNALUモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-17T10:37:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。