論文の概要: PairNets: Novel Fast Shallow Artificial Neural Networks on Partitioned Subspaces

• arxiv url: http://arxiv.org/abs/2001.08886v1
• Date: Fri, 24 Jan 2020 05:23:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 04:48:11.475474
• Title: PairNets: Novel Fast Shallow Artificial Neural Networks on Partitioned Subspaces
• Title（参考訳）: pairnets: 分割部分空間上の新しい高速浅層ニューラルネットワーク
• Authors: Luna M. Zhang
• Abstract要約: 我々は、"Pairwise Neural Network"(PairNet)と呼ばれる、浅い4層ANNを作成する。 各入力の値は複数の間隔に分割され、n-次元空間は M n-次元部分空間に分割される。 M 局所 PairNet は M 分割局所 n-次元部分空間で構築される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditionally, an artificial neural network (ANN) is trained slowly by a gradient descent algorithm such as the backpropagation algorithm since a large number of hyperparameters of the ANN need to be fine-tuned with many training epochs. To highly speed up training, we created a novel shallow 4-layer ANN called "Pairwise Neural Network" ("PairNet") with high-speed hyperparameter optimization. In addition, a value of each input is partitioned into multiple intervals, and then an n-dimensional space is partitioned into M n-dimensional subspaces. M local PairNets are built in M partitioned local n-dimensional subspaces. A local PairNet is trained very quickly with only one epoch since its hyperparameters are directly optimized one-time via simply solving a system of linear equations by using the multivariate least squares fitting method. Simulation results for three regression problems indicated that the PairNet achieved much higher speeds and lower average testing mean squared errors (MSEs) for the three cases, and lower average training MSEs for two cases than the traditional ANNs. A significant future work is to develop better and faster optimization algorithms based on intelligent methods and parallel computing methods to optimize both partitioned subspaces and hyperparameters to build the fast and effective PairNets for applications in big data mining and real-time machine learning.
• Abstract（参考訳）: 伝統的に、人工知能ニューラルネットワーク(ANN)は、バックプロパゲーションアルゴリズムのような勾配降下アルゴリズムによってゆっくりと訓練される。 トレーニングを高速にするために,高速なハイパーパラメータ最適化を備えた"Pairwise Neural Network"(PairNet)と呼ばれる,浅い4層ANNを開発した。 さらに、各入力の値は複数の間隔に分割され、n-次元空間はMn-次元部分空間に分割される。 M 局所 PairNet は M 分割局所 n-次元部分空間で構築される。 局所ペアネットは、多変量最小二乗法を用いて線形方程式の系を単純に解くことによって、ハイパーパラメータが直接最適化されるため、1つのエポックで非常に高速に訓練される。 3つの回帰問題に対するシミュレーションの結果、PairNetは従来のANNよりもはるかに高速で平均検定平均二乗誤差(MSE)が低く、MSEは2つのケースで低いことが示唆された。 将来の重要な作業は、インテリジェントメソッドと並列コンピューティングメソッドに基づく、より良く高速な最適化アルゴリズムを開発し、分割されたサブスペースとハイパーパラメータの両方を最適化し、ビッグデータマイニングとリアルタイム機械学習のアプリケーションのための高速かつ効果的なペアネットを構築することである。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Design and Prototyping Distributed CNN Inference Acceleration in Edge Computing [85.74517957717363]
  HALPはエッジコンピューティングにおけるエッジデバイス(ED)間のシームレスなコラボレーションを設計することで推論を加速する。 実験により、分散推論HALPはVGG-16に対して1.7倍の推論加速を達成することが示された。 分散推論HALPを用いたモデル選択は,サービスの信頼性を著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-11-24T19:48:30Z)
• ZoPE: A Fast Optimizer for ReLU Networks with Low-Dimensional Inputs [30.34898838361206]
  低次元入力を持つフィードフォワードReLUネットワークの出力に対する最適化問題を解くZoPEアルゴリズムを提案する。 我々はZoPEを用いて、ACAS Xuニューラルネットワーク検証ベンチマークのプロパティ1における25倍の高速化と、一連の線形最適化問題に対する85倍の高速化を観察した。
  論文  参考訳（メタデータ） (2021-06-09T18:36:41Z)
• Partitioning sparse deep neural networks for scalable training and inference [8.282177703075453]
  最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。 スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。 その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
  論文  参考訳（メタデータ） (2021-04-23T20:05:52Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Exploiting Multiple Timescales in Hierarchical Echo State Networks [0.0]
  エコー状態ネットワーク(ESN)は、線形出力重みのトレーニングのみを必要とする貯水池コンピューティングの強力な形態である。 ここでは,貯水池を2つの小さな貯水池に分割した階層型esnの時間スケールを考察する。
  論文  参考訳（メタデータ） (2021-01-11T22:33:17Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Steepest Descent Neural Architecture Optimization: Escaping Local Optimum with Signed Neural Splitting [60.97465664419395]
  我々は、局所最適性問題に対処する分割降下フレームワークの顕著で驚くべき拡張を開発する。 分割時の正と負の両方の重みを単純に許すことで、S2Dにおける分裂安定性の出現を排除できる。 我々は,CIFAR-100, ImageNet, ModelNet40 といった,S2D などの先進的なニューラルネットワークの精度とエネルギー効率の学習方法よりも優れている,様々な挑戦的なベンチマーク上で,本手法を検証する。
  論文  参考訳（メタデータ） (2020-03-23T17:09:27Z)
• Pairwise Neural Networks (PairNets) with Low Memory for Fast On-Device Applications [0.0]
  従来の人工ニューラルネットワーク(ANN)は通常、バックプロパゲーションアルゴリズムのような勾配降下アルゴリズムによってゆっくりと訓練される。 Pairwise Neural Network"(PairNet)と呼ばれる,高速な非漸進的ハイパーパラメータ最適化を備えた,幅広で浅い4層ANNを作成した。
  論文  参考訳（メタデータ） (2020-02-10T02:12:59Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。