Fugu-MT 論文翻訳(概要): A Letter on Convergence of In-Parameter-Linear Nonlinear Neural Architectures with Gradient Learnings

論文の概要: A Letter on Convergence of In-Parameter-Linear Nonlinear Neural Architectures with Gradient Learnings

arxiv url: http://arxiv.org/abs/2111.12877v1
Date: Thu, 25 Nov 2021 02:32:19 GMT
ステータス: 処理完了
システム内更新日: 2021-11-29 18:17:45.897508
Title: A Letter on Convergence of In-Parameter-Linear Nonlinear Neural Architectures with Gradient Learnings
Title（参考訳）: 勾配学習によるパラメータ内非線形ニューラルネットワークの収束性
Authors: Ivo Bukovsky, Gejza Dohnal, Peter M. Benes, Kei Ichiji, Noriyasu Homma
Abstract要約: この手紙は、重み収束に対する有界入出力有界状態(BIBS)の安定性の概念を要約し、証明している。実効的なBIBS収束条件は、個々の学習ポイントやリアルタイムアプリケーションのバッチ毎に導出された証明から得られる。
参考スコア（独自算出の注目度）: 1.8899300124593643
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: This letter summarizes and proves the concept of bounded-input bounded-state (BIBS) stability for weight convergence of a broad family of in-parameter-linear nonlinear neural architectures as it generally applies to a broad family of incremental gradient learning algorithms. A practical BIBS convergence condition results from the derived proofs for every individual learning point or batches for real-time applications.
Abstract（参考訳）: このレターは、一般に漸進的勾配学習アルゴリズムの広いファミリーに適用されるように、多種多様な非線形非線形ニューラルネットワークアーキテクチャの重み収束に対する有界入力有界状態(bibs)安定性の概念を要約し、証明するものである。実効的なBIBS収束条件は、個々の学習ポイントやリアルタイムアプリケーションのバッチ毎に導出された証明から得られる。

関連論文リスト

Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
論文参考訳（メタデータ） (2024-10-21T15:34:44Z)
Controlled Learning of Pointwise Nonlinearities in Neural-Network-Like Architectures [14.93489065234423]
本稿では,階層型計算アーキテクチャにおける自由形式非線形性のトレーニングのための一般的な変分フレームワークを提案する。傾斜制約により、1-Lipschitz安定性、堅固な非膨張性、単調性/可逆性といった特性を課すことができる。本稿では, 非線形性を適切な(一様でない)B-スプラインベースで表現することで, 数値関数最適化問題の解法を示す。
論文参考訳（メタデータ） (2024-08-23T14:39:27Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Deep NURBS -- Admissible Physics-informed Neural Networks [0.0]
偏微分方程式(PDE)の高精度かつ安価な解を可能にする物理インフォームドニューラルネットワーク(PINN)の新しい数値スキームを提案する。提案手法は、物理領域とディリクレ境界条件を定義するのに必要な許容的なNURBSパラメトリゼーションとPINNソルバを組み合わせたものである。
論文参考訳（メタデータ） (2022-10-25T10:35:45Z)
Learning Linear Non-Gaussian Polytree Models [2.4493299476776778]
ポリツリーであるグラフを効率的に学習するアルゴリズムを提案する。提案手法は,まず無向木構造を学習するChow-Liuアルゴリズムと,エッジを指向する新しいスキームを組み合わせたものである。
論文参考訳（メタデータ） (2022-08-13T18:20:10Z)
Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
論文参考訳（メタデータ） (2022-04-20T21:15:38Z)
Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文参考訳（メタデータ） (2021-01-15T11:39:09Z)
Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
論文参考訳（メタデータ） (2020-10-26T11:31:08Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Finite-Sample Analysis of Stochastic Approximation Using Smooth Convex Envelopes [40.31139355952393]
一般化エンベロープを用いて滑らかなリャプノフ函数を構築し、そのリャプノフ函数に対してSAの反復体が負のドリフトを持つことを示す。特に、政治以外のTD学習において、Vトレースアルゴリズムの最初の既知収束率を確立するためにこれを用いる。また、TD学習を現場で研究し、既存の最先端の成果を$Q$ラーニングで回収する。
論文参考訳（メタデータ） (2020-02-03T16:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。