論文の概要: Newton methods based convolution neural networks using parallel
processing
- arxiv url: http://arxiv.org/abs/2112.01401v3
- Date: Wed, 5 Apr 2023 08:39:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 16:44:45.734919
- Title: Newton methods based convolution neural networks using parallel
processing
- Title（参考訳）: 並列処理を用いたニュートン法に基づく畳み込みニューラルネットワーク
- Authors: Ujjwal Thakur, Anuj Sharma
- Abstract要約: 畳み込みニューラルネットワークの訓練は高次元かつ非パラメトリック最適化問題である。
畳み込みニューラルネットワークのニュートン法は、サブサンプルのヘッセンニュートン法を用いてこれを扱う。
ミニバッチ計算ではシリアル処理の代わりに並列処理を用いてきた。
- 参考スコア（独自算出の注目度）: 3.9220281834178463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training of convolutional neural networks is a high dimensional and a
non-convex optimization problem. At present, it is inefficient in situations
where parametric learning rates can not be confidently set. Some past works
have introduced Newton methods for training deep neural networks. Newton
methods for convolutional neural networks involve complicated operations.
Finding the Hessian matrix in second-order methods becomes very complex as we
mainly use the finite differences method with the image data. Newton methods
for convolutional neural networks deals with this by using the sub-sampled
Hessian Newton methods. In this paper, we have used the complete data instead
of the sub-sampled methods that only handle partial data at a time. Further, we
have used parallel processing instead of serial processing in mini-batch
computations. The results obtained using parallel processing in this study,
outperform the time taken by the previous approach.
- Abstract（参考訳）: 畳み込みニューラルネットワークのトレーニングは、高次元および非凸最適化問題である。
現在、パラメトリック学習率を自信を持って設定できない状況では非効率である。
ディープニューラルネットワークのトレーニングにニュートン法を導入した過去の作品もある。
畳み込みニューラルネットワークのニュートン法は複雑な操作を含む。
2階法におけるヘッセン行列の探索は,主に画像データとの差分法を用いるため,非常に複雑になる。
畳み込みニューラルネットワークのニュートン法は、サブサンプルのヘッセンニュートン法を用いてこれを扱う。
本稿では,部分データのみを処理するサブサンプリング方式ではなく,完全なデータを用いた。
さらに,ミニバッチ計算ではシリアル処理の代わりに並列処理を用いる。
本研究で得られた並列処理の結果は, 従来の手法よりも優れていた。
関連論文リスト
- Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。
我々はその2次情報を経験的フィッシャー行列を通して活用する。
ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
論文 参考訳（メタデータ） (2024-10-24T18:02:11Z) - On Newton's Method to Unlearn Neural Networks [44.85793893441989]
ニューラルネット(NN)に対する近似的未学習アルゴリズムを探索し、同じモデルを再学習したオラクルに返却する。
本稿では, 立方正則化を利用してヘッセン系縮退を効果的に処理するCureNewton法を提案する。
異なるモデルとデータセットをまたいだ実験により、我々の手法は、実践的な未学習環境で最先端のアルゴリズムと競合する未学習性能を達成できることを示した。
論文 参考訳（メタデータ） (2024-06-20T17:12:20Z) - An Initialization Schema for Neuronal Networks on Tabular Data [0.9155684383461983]
本稿では,二項ニューラルネットワークが表データに対して有効に利用できることを示す。
提案手法はニューラルネットワークの最初の隠蔽層を初期化するための単純だが効果的なアプローチを示す。
我々は、複数の公開データセットに対する我々のアプローチを評価し、他のニューラルネットワークベースのアプローチと比較して、改善されたパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-11-07T13:52:35Z) - Embedding stochastic differential equations into neural networks via
dual processes [0.0]
本稿では、微分方程式の予測のためのニューラルネットワーク構築のための新しいアプローチを提案する。
提案手法は入力と出力のデータセットを必要としない。
実演として,Ornstein-Uhlenbeck プロセスと van der Pol システムのためのニューラルネットワークを構築した。
論文 参考訳（メタデータ） (2023-06-08T00:50:16Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Free Probability, Newton lilypads and Jacobians of neural networks [0.0]
我々は、関連するスペクトル密度を計算するための信頼性が高く、非常に高速な方法を提案する。
提案手法は,アトラクションの流域の発見と連鎖により,適応的なニュートン・ラフソン計画に基づく。
論文 参考訳（メタデータ） (2021-11-01T11:22:42Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Local Extreme Learning Machines and Domain Decomposition for Solving
Linear and Nonlinear Partial Differential Equations [0.0]
本稿では線形偏微分方程式と非線形偏微分方程式の解法を提案する。
この手法は、極端学習機械(ELM)、ドメイン分解、局所ニューラルネットワークのアイデアを組み合わせたものである。
本稿では,DGM法(Deep Galerkin Method)とPINN(Physical-informed Neural Network)を精度と計算コストの観点から比較する。
論文 参考訳（メタデータ） (2020-12-04T23:19:39Z) - Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。
また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-04-17T20:21:47Z) - Accelerating Feedforward Computation via Parallel Nonlinear Equation
Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。
本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。
提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文 参考訳（メタデータ） (2020-02-10T10:11:31Z) - On the distance between two neural networks and the stability of
learning [59.62047284234815]
本稿では, パラメータ距離と勾配分解を, 幅広い非線形構成関数のクラスに関連付ける。
この分析により、ニューラルネットワークの深い相対信頼と降下補題と呼ばれる新しい距離関数が導かれる。
論文 参考訳（メタデータ） (2020-02-09T19:18:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。