論文の概要: Neural Status Registers

• arxiv url: http://arxiv.org/abs/2004.07085v2
• Date: Thu, 11 Mar 2021 18:58:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 02:37:48.689656
• Title: Neural Status Registers
• Title（参考訳）: ニューラルステータス登録
• Authors: Lukas Faber and Roger Wattenhofer
• Abstract要約: 数量的推論のための新しいアーキテクチャ要素であるニューラルステータスレジスタ(NSR)を提案する。 我々のNSRは、物理状態レジスタの離散ビット論理を連続数に緩和し、降下を伴うエンドツーエンドの学習を可能にします。
• 参考スコア（独自算出の注目度）: 13.097161185372151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard Neural Networks can learn mathematical operations, but they do not extrapolate. Extrapolation means that the model can apply to larger numbers, well beyond those observed during training. Recent architectures tackle arithmetic operations and can extrapolate; however, the equally important problem of quantitative reasoning remains unaddressed. In this work, we propose a novel architectural element, the Neural Status Register (NSR), for quantitative reasoning over numbers. Our NSR relaxes the discrete bit logic of physical status registers to continuous numbers and allows end-to-end learning with gradient descent. Experiments show that the NSR achieves solutions that extrapolate to numbers many orders of magnitude larger than those in the training set. We successfully train the NSR on number comparisons, piecewise discontinuous functions, counting in sequences, recurrently finding minimums, finding shortest paths in graphs, and comparing digits in images.
• Abstract（参考訳）: 標準的なニューラルネットワークは数学的操作を学習できるが、外挿はできない。 外挿は、トレーニング中に観察されるものよりもはるかに多く、モデルが適用可能であることを意味する。 近年のアーキテクチャでは算術演算に取り組み外挿が可能であるが、量的推論の等しく重要な問題は未解決のままである。 本研究では,数量的推論のための新しいアーキテクチャ要素であるニューラルステータスレジスタ(NSR)を提案する。 我々のNSRは、物理状態レジスタの離散ビット論理を連続数に緩和し、勾配降下によるエンドツーエンド学習を可能にする。 実験により、nsrはトレーニングセットにあるものよりも桁違いに大きい数に外挿する解が得られることが示された。 我々はNSRを数値比較、断片的に不連続な関数、シーケンスのカウント、最小値の繰り返し検出、グラフ内の最短経路の探索、画像中の数字の比較でうまく訓練した。

関連論文リスト

• Neural Reasoning Networks: Efficient Interpretable Neural Networks With Automatic Textual Explanations [45.974930902038494]
  本稿では,新しいニューラルシンボリックアーキテクチャであるニューラル推論ネットワーク(NRN)を提案する。 トレーニングアルゴリズム(R-NRN)は、バックプロップによる降下最適化を用いて、通常通りネットワークの重みを学習するが、また、帯域ベース最適化を用いてネットワーク構造自体を学習する。 R-NRNの説明は、比較したアプローチよりも短いが、より正確な特徴重要度スコアを生成する。
  論文  参考訳（メタデータ） (2024-10-10T14:27:12Z)
• How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
  グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。 この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-08T10:19:56Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Toward Trainability of Deep Quantum Neural Networks [87.04438831673063]
  ランダムな構造を持つ量子ニューラルネットワーク(QNN)は、回路深さと量子ビット数が増加するにつれて指数関数的に減少する勾配のため、トレーニング性に乏しい。 理論的保証のある深部QNNに対して、消滅する勾配問題に対する最初の実現可能な解決策を提供する。
  論文  参考訳（メタデータ） (2021-12-30T10:27:08Z)
• Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
  最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。 また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
  論文  参考訳（メタデータ） (2021-09-05T03:25:23Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Neural Execution Engines: Learning to Execute Subroutines [29.036699193820215]
  本稿では, ソート, 最短経路, 最小スパンニング木などの共通アルゴリズムを構成する数値サブルーチンのレベルでの一般化問題について検討する。 データを一般化するために、バイナリ表現で数値を符号化すると、加算や乗算のような下流のタスクで訓練されたリッチな構造で埋め込みされることを示す。
  論文  参考訳（メタデータ） (2020-06-15T01:51:37Z)
• iNALU: Improved Neural Arithmetic Logic Unit [2.331160520377439]
  最近提案されたNeural Arithmetic Logic Unit (NALU)は、ネットワークのユニットによって数学的関係を明確に表現し、和、減算、乗算などの操作を学ぶことができる新しいニューラルネットワークである。 本稿では,本モデルが安定性の問題を解き,算術精度と収束性により元のNALUモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-17T10:37:22Z)
• Neural Arithmetic Units [84.65228064780744]
  ニューラルネットワークは複雑な関数を近似することができるが、実数に対して正確な算術演算を行うのに苦労する。 ニューラルネットワークコンポーネントとして、正確な加算と減算を学習可能なニューラル加算ユニット(NAU)と、ベクトルのサブセットを乗算可能なニューラル乗算ユニット(NMU)がある。 提案したユニットNAUとNMUは、従来のニューラルネットワークユニットと比較して、より一貫して収束し、パラメータを少なくし、より速く学習し、より大きな隠れたサイズに収束し、スパースと意味のある重みを得、負の値と小さな値に外挿することができる。
  論文  参考訳（メタデータ） (2020-01-14T19:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。