Fugu-MT 論文翻訳(概要): Convergence of a New Learning Algorithm

論文の概要: Convergence of a New Learning Algorithm

arxiv url: http://arxiv.org/abs/2202.12829v1
Date: Tue, 8 Feb 2022 19:36:43 GMT
ステータス: 処理完了
システム内更新日: 2022-03-06 15:50:51.299009
Title: Convergence of a New Learning Algorithm
Title（参考訳）: 新しい学習アルゴリズムの収束性
Authors: Feng Lin
Abstract要約: 新しい学習アルゴリズムは,従来のバックプロパゲーション学習アルゴリズムと数学的に等価であることが示されている。新しいアルゴリズムの収束率を測定するために収束測度を提案する。
参考スコア（独自算出の注目度）: 3.679678618747414
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A new learning algorithm proposed by Brandt and Lin for neural network [1], [2] has been shown to be mathematically equivalent to the conventional back-propagation learning algorithm, but has several advantages over the backpropagation algorithm, including feedback-network-free implementation and biological plausibility. In this paper, we investigate the convergence of the new algorithm. A necessary and sufficient condition for the algorithm to converge is derived. A convergence measure is proposed to measure the convergence rate of the new algorithm. Simulation studies are conducted to investigate the convergence of the algorithm with respect to the number of neurons, the connection distance, the connection density, the ratio of excitatory/inhibitory synapses, the membrane potentials, and the synapse strengths.
Abstract（参考訳）: BrandtとLinによって提案されたニューラルネットワーク[1],[2]は、従来のバックプロパゲーション学習アルゴリズムと数学的に等価であることが示されているが、バックプロパゲーションアルゴリズムに対していくつかの利点がある。本稿では,新しいアルゴリズムの収束について検討する。アルゴリズムが収束するのに必要かつ十分な条件が導出される。新しいアルゴリズムの収束率を測定するために収束測度が提案されている。シミュレーション研究により, ニューロン数, 接続距離, 接続密度, 興奮性/抑制性シナプス比, 膜電位, シナプス強度に関するアルゴリズムの収束性について検討した。

関連論文リスト

Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
Contraction-Guided Adaptive Partitioning for Reachability Analysis of Neural Network Controlled Systems [5.359060261460183]
非線形フィードバックループにおける区間値到達可能集合の推定値を改善するための収縮誘導適応分割アルゴリズムを提案する。ニューラルネットワーク検証ステップとリーチビリティパーティショニングレイヤの分離を活用することで、アルゴリズムは計算コストの少ない精度の向上を提供することができる。本稿では,現状の手法と比較して,ランタイムのごく一部において,到達可能な集合推定の精度が大幅に向上したことを報告する。
論文参考訳（メタデータ） (2023-04-07T14:43:21Z)
The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文参考訳（メタデータ） (2023-03-17T02:01:11Z)
On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文参考訳（メタデータ） (2022-06-30T05:29:52Z)
Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-05-06T13:18:31Z)
FedGiA: An Efficient Hybrid Algorithm for Federated Learning [39.777714678378736]
フェデレートラーニングは最近その進歩を見せているが、まだ多くの課題に直面している。本稿では,乗算器の勾配降下と不正確な交互方向法を組み合わせたハイブリッド・フェデレーション学習アルゴリズム(FedGiA)を提案する。
論文参考訳（メタデータ） (2022-05-03T11:56:33Z)
Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文参考訳（メタデータ） (2021-06-08T15:54:44Z)
Fast Reinforcement Learning with Incremental Gaussian Mixture Models [0.0]
Incrmental Gaussian Mixture Network (IGMN)と呼ばれる単一パスから学習可能なオンラインおよびインクリメンタルなアルゴリズムが、結合状態とQ値空間のためのサンプル効率関数近似器として採用された。 IGMN関数近似器の使用は、勾配降下法で訓練された従来のニューラルネットワークと比較して、強化学習に重要な利点をもたらすことが観察された。
論文参考訳（メタデータ） (2020-11-02T03:18:15Z)
SONIA: A Symmetric Blockwise Truncated Optimization Algorithm [2.9923891863939938]
本研究は, 経験的リスクに対する新しいアルゴリズムを提案する。このアルゴリズムは、一部分空間における二階探索型更新を計算し、1階探索法と2階探索法の間のギャップを埋める。
論文参考訳（メタデータ） (2020-06-06T19:28:14Z)
Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
論文参考訳（メタデータ） (2020-04-17T20:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。