論文の概要: Improving the Robustness of Neural Multiplication Units with Reversible Stochasticity

• arxiv url: http://arxiv.org/abs/2211.05624v1
• Date: Thu, 10 Nov 2022 14:56:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 14:20:45.641988
• Title: Improving the Robustness of Neural Multiplication Units with Reversible Stochasticity
• Title（参考訳）: 可逆確率性を有するニューラルネットワークユニットのロバスト性向上
• Authors: Bhumika Mistry, Katayoun Farrahi, Jonathon Hare
• Abstract要約: 多層パーセプトロンは、ある種の単純な算術的なタスクを学ぶのに苦労する。 特殊神経NMU(sNMU)は可逆性を適用するために提案され、そのようなオプティマの回避を奨励する。
• 参考スコア（独自算出の注目度）: 2.4278445972594525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilayer Perceptrons struggle to learn certain simple arithmetic tasks. Specialist neural modules for arithmetic can outperform classical architectures with gains in extrapolation, interpretability and convergence speeds, but are highly sensitive to the training range. In this paper, we show that Neural Multiplication Units (NMUs) are unable to reliably learn tasks as simple as multiplying two inputs when given different training ranges. Causes of failure are linked to inductive and input biases which encourage convergence to solutions in undesirable optima. A solution, the stochastic NMU (sNMU), is proposed to apply reversible stochasticity, encouraging avoidance of such optima whilst converging to the true solution. Empirically, we show that stochasticity provides improved robustness with the potential to improve learned representations of upstream networks for numerical and image tasks.
• Abstract（参考訳）: 多層パーセプトロンは、特定の単純な算術タスクを学ぶのに苦労しています。 算術用神経モジュールは、外挿、解釈可能性、収束速度で古典的アーキテクチャよりも優れているが、訓練範囲に非常に敏感である。 本稿では,ニューラル乗算ユニット(NMU)が,異なる学習範囲を与えられた場合の2つの入力を乗算するほど簡単なタスクを確実に学習できないことを示す。 失敗の原因は、望ましくない最適解への収束を促進する誘導バイアスと入力バイアスに関係している。 確率的 NMU (sNMU) という解は可逆確率性を適用するために提案され、真の解に収束しながらそのようなオプティマを避ける。 経験的に、確率性は、数値的および画像的タスクのための上流ネットワークの学習表現を改善する可能性とともに、ロバスト性が向上することを示した。

関連論文リスト

• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Single-model uncertainty quantification in neural network potentials does not consistently outperform model ensembles [0.7499722271664145]
  ニューラルネットワーク(NN)は、遠く離れた地点であっても、予測に高い信頼性を割り当てることが多い。 不確かさ定量化(英: Uncertainty Quantification、UQ)は、物質系における原子間ポテンシャルのモデル化に使用されるときの課題である。 異なるUQ技術は、新しい情報データを見つけ、堅牢なポテンシャルのためにアクティブな学習ループを駆動することができる。
  論文  参考訳（メタデータ） (2023-05-02T19:41:17Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)
• Neural Non-Rigid Tracking [26.41847163649205]
  我々は、新しい、エンドツーエンドの学習可能、差別化可能な非剛性トラッカーを導入する。 我々は畳み込みニューラルネットワークを用いて、密度の高い通信とその信頼性を予測する。 現状の手法と比較して,提案アルゴリズムは再構築性能の向上を示す。
  論文  参考訳（メタデータ） (2020-06-23T18:00:39Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。