論文の概要: iNALU: Improved Neural Arithmetic Logic Unit

• arxiv url: http://arxiv.org/abs/2003.07629v1
• Date: Tue, 17 Mar 2020 10:37:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 20:55:41.426377
• Title: iNALU: Improved Neural Arithmetic Logic Unit
• Title（参考訳）: iNALU:改良されたニューラル算術論理ユニット
• Authors: Daniel Schl\"or, Markus Ring, Andreas Hotho
• Abstract要約: 最近提案されたNeural Arithmetic Logic Unit (NALU)は、ネットワークのユニットによって数学的関係を明確に表現し、和、減算、乗算などの操作を学ぶことができる新しいニューラルネットワークである。 本稿では,本モデルが安定性の問題を解き,算術精度と収束性により元のNALUモデルより優れていることを示す。
• 参考スコア（独自算出の注目度）: 2.331160520377439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks have to capture mathematical relationships in order to learn various tasks. They approximate these relations implicitly and therefore often do not generalize well. The recently proposed Neural Arithmetic Logic Unit (NALU) is a novel neural architecture which is able to explicitly represent the mathematical relationships by the units of the network to learn operations such as summation, subtraction or multiplication. Although NALUs have been shown to perform well on various downstream tasks, an in-depth analysis reveals practical shortcomings by design, such as the inability to multiply or divide negative input values or training stability issues for deeper networks. We address these issues and propose an improved model architecture. We evaluate our model empirically in various settings from learning basic arithmetic operations to more complex functions. Our experiments indicate that our model solves stability issues and outperforms the original NALU model in means of arithmetic precision and convergence.
• Abstract（参考訳）: ニューラルネットワークは、様々なタスクを学ぶために数学的関係を捉える必要がある。 彼らはこれらの関係を暗黙的に近似するので、しばしばうまく一般化しない。 最近提案されたneural arithmetic logic unit (nalu)は、ネットワークの単位によって数学的関係を明示的に表現し、和、減算、乗算などの演算を学ぶことができる新しいニューラルネットワークである。 NALUは様々な下流タスクでうまく機能することが示されているが、深いネットワークに対して負の入力値の乗算や分割ができないことや、トレーニング安定性の問題など、設計上の欠点が深い。 これらの問題に対処し、改良されたモデルアーキテクチャを提案する。 基礎演算の学習からより複雑な関数まで,様々な環境で経験的にモデルを評価する。 実験により,我々のモデルは安定性の問題を解き,算術精度と収束性により元のNALUモデルより優れていることが示された。

関連論文リスト

• Optimizing Neural Network Performance and Interpretability with Diophantine Equation Encoding [0.0]
  本稿では,ディープラーニングモデルの精度と堅牢性を高める新しい手法を提案する。 本手法は,トレーニング中にダイオファンチン制約を強制するカスタムロス関数を統合し,より一般化し,エラー境界を低減し,敵攻撃に対するレジリエンスを高める。
  論文  参考訳（メタデータ） (2024-09-11T14:38:40Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)
• A Primer for Neural Arithmetic Logic Modules [2.4278445972594525]
  本論文は,本分野の進展状況について論じる最初のものである。 NALUの欠点に着目して、最近のモジュールの設計選択を深く分析する。 既存の不整合を緩和するために、既存の算術NALMを比較したベンチマークを作成する。
  論文  参考訳（メタデータ） (2021-01-23T16:09:16Z)
• Neural Network Approximations of Compositional Functions With Applications to Dynamical Systems [3.660098145214465]
  我々は,合成関数とそのニューラルネットワーク近似の近似理論を開発した。 構成関数の重要な特徴の集合と,ニューラルネットワークの特徴と複雑性の関係を同定する。 関数近似に加えて、ニューラルネットワークの誤差上限の式もいくつか証明する。
  論文  参考訳（メタデータ） (2020-12-03T04:40:25Z)
• Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
  Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。 畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
  論文  参考訳（メタデータ） (2020-10-22T09:10:16Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Systematically designing better instance counting models on cell images with Neural Arithmetic Logic Units [11.864159170745893]
  我々は、細胞カウントのためのより良い一般化システムを構築することを目指している。 数値バイアスのある単位は、数値を学習し、より優れた一般化結果を得るのに役立ちます。 以上の結果から, モデルが数値量学習に役立ち, より優れた一般化結果が得られることが確認された。
  論文  参考訳（メタデータ） (2020-04-14T17:23:37Z)
• Neural Arithmetic Units [84.65228064780744]
  ニューラルネットワークは複雑な関数を近似することができるが、実数に対して正確な算術演算を行うのに苦労する。 ニューラルネットワークコンポーネントとして、正確な加算と減算を学習可能なニューラル加算ユニット(NAU)と、ベクトルのサブセットを乗算可能なニューラル乗算ユニット(NMU)がある。 提案したユニットNAUとNMUは、従来のニューラルネットワークユニットと比較して、より一貫して収束し、パラメータを少なくし、より速く学習し、より大きな隠れたサイズに収束し、スパースと意味のある重みを得、負の値と小さな値に外挿することができる。
  論文  参考訳（メタデータ） (2020-01-14T19:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。