論文の概要: RNN-based Online Learning: An Efficient First-Order Optimization Algorithm with a Convergence Guarantee

• arxiv url: http://arxiv.org/abs/2003.03601v2
• Date: Mon, 31 May 2021 15:30:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 19:12:34.840740
• Title: RNN-based Online Learning: An Efficient First-Order Optimization Algorithm with a Convergence Guarantee
• Title（参考訳）: rnnに基づくオンライン学習 : 収束保証付き効率的一階最適化アルゴリズム
• Authors: N. Mert Vural, Selim F. Yilmaz, Fatih Ilhan and Suleyman S. Kozat
• Abstract要約: 理論的には最適なネットワークパラメータに収束することを保証できる効率的な一階述語学習アルゴリズムを導入する。 我々のアルゴリズムは真にオンラインであり、収束を保証するための学習環境を仮定しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate online nonlinear regression with continually running recurrent neural network networks (RNNs), i.e., RNN-based online learning. For RNN-based online learning, we introduce an efficient first-order training algorithm that theoretically guarantees to converge to the optimum network parameters. Our algorithm is truly online such that it does not make any assumption on the learning environment to guarantee convergence. Through numerical simulations, we verify our theoretical results and illustrate significant performance improvements achieved by our algorithm with respect to the state-of-the-art RNN training methods.
• Abstract（参考訳）: 本稿では,連続的なリカレントニューラルネットワーク(RNN)によるオンライン非線形回帰,すなわちRNNに基づくオンライン学習について検討する。 RNNに基づくオンライン学習では、理論的には最適なネットワークパラメータに収束することを保証する効率的な1次学習アルゴリズムを導入する。 我々のアルゴリズムは真にオンラインであり、収束を保証するための学習環境を仮定しない。 数値シミュレーションにより理論結果を検証し,最先端のrnn訓練法に関して,アルゴリズムが達成した有意な性能改善を示す。

関連論文リスト

• A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers [8.343594411714934]
  屈曲した近位ニューラルネットワーク(PNN)は、深層学習と近位最適化のアプローチを組み合わせた一連の手法である。 展開されたPNNに対するBregman距離に基づく揚力トレーニングの定式化を提案する。 画像復調の数値シミュレーションにより,提案したPNNのトレーニング手法の挙動を評価する。
  論文  参考訳（メタデータ） (2024-08-16T13:41:34Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Adversarial Deep Learning for Online Resource Allocation [12.118811903399951]
  私たちはディープニューラルネットワークを使って、リソース割り当てと価格の問題に対するオンラインアルゴリズムをゼロから学習しています。 私たちの研究は、最悪のパフォーマンス保証の観点から、ディープニューラルネットワークを使用してオンラインアルゴリズムを設計した初めてのものです。
  論文  参考訳（メタデータ） (2021-11-19T15:48:43Z)
• Achieving Online Regression Performance of LSTMs with Simple RNNs [0.0]
  本稿では,パラメータ数に線形時間を要する1次学習アルゴリズムを提案する。 SRNNが我々のアルゴリズムでトレーニングされている場合、LSTMと非常によく似た回帰性能を2～3倍の短いトレーニング時間で提供することを示す。
  論文  参考訳（メタデータ） (2020-05-16T11:41:13Z)
• R-FORCE: Robust Learning for Random Recurrent Neural Networks [6.285241353736006]
  RRNNのロバスト性を高めるためのロバストトレーニング手法を提案する。 FORCE学習アプローチは、目標学習の課題にも適用可能であることが示された。 実験の結果,R-FORCEはより広範囲のRRNNに対して,より安定かつ正確な目標学習を促進することが示唆された。
  論文  参考訳（メタデータ） (2020-03-25T22:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。