論文の概要: Learning Division with Neural Arithmetic Logic Modules

• arxiv url: http://arxiv.org/abs/2110.05177v2
• Date: Tue, 12 Oct 2021 08:18:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 11:39:10.760170
• Title: Learning Division with Neural Arithmetic Logic Modules
• Title（参考訳）: 神経算術論理モジュールを用いた学習分割
• Authors: Bhumika Mistry, Katayoun Farrahi, Jonathon Hare
• Abstract要約: 2つの数字を分割する最も単純なレベルでも、体系的な方法で頑健に学習する分割が課題であることを示す。 我々はニューラル・リシパル・ユニット(NRU)とニューラル・マルチプリケーティブ・リシパル・ユニット(NMRU)と呼ばれる2つの新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 2.019622939313173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To achieve systematic generalisation, it first makes sense to master simple tasks such as arithmetic. Of the four fundamental arithmetic operations (+,-,$\times$,$\div$), division is considered the most difficult for both humans and computers. In this paper we show that robustly learning division in a systematic manner remains a challenge even at the simplest level of dividing two numbers. We propose two novel approaches for division which we call the Neural Reciprocal Unit (NRU) and the Neural Multiplicative Reciprocal Unit (NMRU), and present improvements for an existing division module, the Real Neural Power Unit (Real NPU). Experiments in learning division with input redundancy on 225 different training sets, find that our proposed modifications to the Real NPU obtains an average success of 85.3$\%$ improving over the original by 15.1$\%$. In light of the suggestion above, our NMRU approach can further improve the success to 91.6$\%$.
• Abstract（参考訳）: 体系的な一般化を実現するために、まず算術のような単純なタスクを習得することが合理的である。 4つの基本的な算術演算(+,-,$\times$,$\div$)のうち、分割は人間とコンピュータの両方にとって最も難しいと考えられている。 本稿では、2つの数字を分割する最も単純なレベルでも、体系的な方法で頑健に学習する分割が課題であることを示す。 本稿では,NRU(Neural Reciprocal Unit)とNMRU(Neural Multiplicative Reciprocal Unit)の2つの新しい手法を提案し,既存の分割モジュールであるReal Neural Power Unit(Real NPU)の改良を提案する。 225の異なるトレーニングセットに入力冗長性を持つ学習分割の実験では、提案する実 npu への修正により、オリジナルよりも平均で 85.3$\%$ 改善が15.1$\% 向上することがわかった。 上記の提案を踏まえて、NMRUアプローチは、さらなる成功を91.6$\%$に向上させることができる。

関連論文リスト

• Reverse That Number! Decoding Order Matters in Arithmetic Learning [49.5504492920404]
  本研究は,最少の桁から出力を優先順位付けすることで,桁順を再評価する新たな戦略を導入する。 従来のSOTA法と比較すると,通常のトレーニングで使用するトークンの3分の1しか必要とせず,精度の全体的な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-09T09:04:53Z)
• RevOrder: A Novel Method for Enhanced Arithmetic in Language Models [0.9043578619916238]
  RevOrder は出力の桁を 1-digit (nD by 1D) 乗算タスクの追加、減算、n-digit で反転させる。 本手法はCSID(Count of Sequential Intermediate Digits)を$mathcalO(1)$に大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-06T09:10:35Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Memorization Capacity of Neural Networks with Conditional Computation [14.048989759890475]
  我々は,$O(sqrtn)$ニューロンを用いたニューラルネットワークを用いて,$n$の入力出力関係の集合を記憶できることを実証した。 条件付きReLUネットワークを用いて,入力あたりのO(log n)$演算のみを用いて同じタスクを実現できることを示す。
  論文  参考訳（メタデータ） (2023-03-20T16:33:17Z)
• Training Data is More Valuable than You Think: A Simple and Effective Method by Retrieving from Training Data [82.92758444543689]
  検索に基づく手法は,外部知識を導入してNLPタスクに有効であることが示されている。 意外なことに、Retrieving from the training datA (REINA) は複数のNLGおよびNLUタスクにおいて大きな改善をもたらすことが判明した。 実験結果から,本手法は様々なNLUタスクやNLGタスクにおいて,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T17:37:27Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)
• Neural Power Units [1.7188280334580197]
  実数の全領域で動作するニューラルパワーユニット(NPU)を導入し,任意のパワー関数を単一層で学習することができる。 我々は,NPUが人工算術データセットの精度と疎性という点で,競合より優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-02T14:58:07Z)
• iNALU: Improved Neural Arithmetic Logic Unit [2.331160520377439]
  最近提案されたNeural Arithmetic Logic Unit (NALU)は、ネットワークのユニットによって数学的関係を明確に表現し、和、減算、乗算などの操作を学ぶことができる新しいニューラルネットワークである。 本稿では,本モデルが安定性の問題を解き,算術精度と収束性により元のNALUモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-17T10:37:22Z)
• Neural Arithmetic Units [84.65228064780744]
  ニューラルネットワークは複雑な関数を近似することができるが、実数に対して正確な算術演算を行うのに苦労する。 ニューラルネットワークコンポーネントとして、正確な加算と減算を学習可能なニューラル加算ユニット(NAU)と、ベクトルのサブセットを乗算可能なニューラル乗算ユニット(NMU)がある。 提案したユニットNAUとNMUは、従来のニューラルネットワークユニットと比較して、より一貫して収束し、パラメータを少なくし、より速く学習し、より大きな隠れたサイズに収束し、スパースと意味のある重みを得、負の値と小さな値に外挿することができる。
  論文  参考訳（メタデータ） (2020-01-14T19:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。