論文の概要: Recognizing and Verifying Mathematical Equations using Multiplicative
Differential Neural Units
- arxiv url: http://arxiv.org/abs/2104.02899v1
- Date: Wed, 7 Apr 2021 03:50:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-08 12:42:41.324673
- Title: Recognizing and Verifying Mathematical Equations using Multiplicative
Differential Neural Units
- Title（参考訳）: 乗法微分ニューラルネットワークを用いた数理方程式の認識と検証
- Authors: Ankur Mali, Alexander Ororbia, Daniel Kifer, C. Lee Giles
- Abstract要約: メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。
本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
- 参考スコア（独自算出の注目度）: 86.9207811656179
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated mathematical reasoning is a challenging problem that requires an
agent to learn algebraic patterns that contain long-range dependencies. Two
particular tasks that test this type of reasoning are (1) mathematical equation
verification, which requires determining whether trigonometric and linear
algebraic statements are valid identities or not, and (2) equation completion,
which entails filling in a blank within an expression to make it true. Solving
these tasks with deep learning requires that the neural model learn how to
manipulate and compose various algebraic symbols, carrying this ability over to
previously unseen expressions. Artificial neural networks, including recurrent
networks and transformers, struggle to generalize on these kinds of difficult
compositional problems, often exhibiting poor extrapolation performance. In
contrast, recursive neural networks (recursive-NNs) are, theoretically, capable
of achieving better extrapolation due to their tree-like design but are
difficult to optimize as the depth of their underlying tree structure
increases. To overcome this issue, we extend recursive-NNs to utilize
multiplicative, higher-order synaptic connections and, furthermore, to learn to
dynamically control and manipulate an external memory. We argue that this key
modification gives the neural system the ability to capture powerful transition
functions for each possible input. We demonstrate the effectiveness of our
proposed higher-order, memory-augmented recursive-NN models on two challenging
mathematical equation tasks, showing improved extrapolation, stable
performance, and faster convergence. Our models achieve a 1.53% average
improvement over current state-of-the-art methods in equation verification and
achieve a 2.22% Top-1 average accuracy and 2.96% Top-5 average accuracy for
equation completion.
- Abstract（参考訳）: 自動数学的推論は、エージェントが長距離依存を含む代数的パターンを学ぶ必要がある難しい問題である。
この種の推論をテストしている2つの特別なタスクは、(1)三角法と線形代数的文が正当な同一性であるかどうかを決定する必要がある数学的方程式の検証、(2)式内の空白を埋めて真となるような方程式補完である。
これらのタスクをディープラーニングで解くためには、ニューラルネットワークが様々な代数的シンボルの操作と構成の仕方を学ばなければならない。
リカレントネットワークやトランスフォーマーを含む人工ニューラルネットワークは、このような難しい構成問題の一般化に苦労し、しばしば外挿性能の低下を示す。
対照的に、再帰的ニューラルネットワーク(recursive-NN)は理論的には、木のような設計のためにより良い外挿を実現することができるが、根底にある木構造の深さが増加するにつれて最適化が困難である。
この問題を解決するために、我々は再帰的NNを拡張し、乗法的高次シナプス接続を利用し、さらに外部メモリを動的に制御し操作することを学ぶ。
このキー変更により、ニューラルネットワークは、可能な入力毎に強力な遷移関数をキャプチャできるようになる。
提案した高次メモリ拡張再帰的-NNモデルの有効性を2つの難解な数式問題に適用し, 補間性能の向上, 安定性能, より高速な収束性を示す。
本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
関連論文リスト
- More Experts Than Galaxies: Conditionally-overlapping Experts With Biologically-Inspired Fixed Routing [5.846028298833611]
Conditionally Overlapping Mixture of ExperTs (COMET) は、モジュラーでスパースなアーキテクチャを、指数関数的に重複する専門家数で誘導する一般的なディープラーニング手法である。
画像分類,言語モデリング,回帰といったタスクにおけるCOMETの有効性を示す。
論文 参考訳（メタデータ） (2024-10-10T14:58:18Z) - Optimizing Neural Network Performance and Interpretability with Diophantine Equation Encoding [0.0]
本稿では,ディープラーニングモデルの精度と堅牢性を高める新しい手法を提案する。
本手法は,トレーニング中にダイオファンチン制約を強制するカスタムロス関数を統合し,より一般化し,エラー境界を低減し,敵攻撃に対するレジリエンスを高める。
論文 参考訳（メタデータ） (2024-09-11T14:38:40Z) - Adaptive recurrent vision performs zero-shot computation scaling to
unseen difficulty levels [6.053394076324473]
また,適応計算により,学習分布の難易度を超える解を視覚モデルで外挿できるかどうかを検討する。
畳み込みリカレントニューラルネットワーク(ConvRNN)とGraves(PathFinder)とMazes(Mazes)をベースとした学習可能なメカニズムを組み合わせる。
本稿では,AdRNNが早期(ないし遅れ)の処理を動的に停止して,より容易(あるいは困難)な問題を解消できることを示し,また,テスト時の繰り返し回数を動的に増加させることで,トレーニング中に表示されないより困難な問題設定に0ショットを一般化する。
論文 参考訳（メタデータ） (2023-11-12T21:07:04Z) - The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳（メタデータ） (2023-06-30T17:59:13Z) - Improving the Robustness of Neural Multiplication Units with Reversible
Stochasticity [2.4278445972594525]
多層パーセプトロンは、ある種の単純な算術的なタスクを学ぶのに苦労する。
特殊神経NMU(sNMU)は可逆性を適用するために提案され、そのようなオプティマの回避を奨励する。
論文 参考訳（メタデータ） (2022-11-10T14:56:37Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Characterizing possible failure modes in physics-informed neural
networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。
これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文 参考訳（メタデータ） (2021-09-02T16:06:45Z) - Neural-Symbolic Solver for Math Word Problems with Auxiliary Tasks [130.70449023574537]
我々のNS-rは、問題を読み取り、問題をエンコードする問題リーダーと、記号方程式を生成するプログラマと、答えを得るシンボリックエグゼキュータから構成される。
また, 目的表現の監督とともに, 4つの新たな補助的目的によって, 異なる記号的推論を強制的に行うように最適化した。
論文 参考訳（メタデータ） (2021-07-03T13:14:58Z) - SMART: A Situation Model for Algebra Story Problems via Attributed
Grammar [74.1315776256292]
本稿では, 問題解決における人間の精神状態を表現する心理学研究から生まれた, emphsituation modelの概念を紹介する。
提案モデルでは,より優れた解釈性を保ちながら,従来のすべてのニューラルソルバを大きなマージンで上回る結果が得られた。
論文 参考訳（メタデータ） (2020-12-27T21:03:40Z) - iNALU: Improved Neural Arithmetic Logic Unit [2.331160520377439]
最近提案されたNeural Arithmetic Logic Unit (NALU)は、ネットワークのユニットによって数学的関係を明確に表現し、和、減算、乗算などの操作を学ぶことができる新しいニューラルネットワークである。
本稿では,本モデルが安定性の問題を解き,算術精度と収束性により元のNALUモデルより優れていることを示す。
論文 参考訳（メタデータ） (2020-03-17T10:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。