Fugu-MT 論文翻訳(概要): A Letter on Convergence of In-Parameter-Linear Nonlinear Neural Architectures with Gradient Learnings

論文の概要: A Letter on Convergence of In-Parameter-Linear Nonlinear Neural Architectures with Gradient Learnings

arxiv url: http://arxiv.org/abs/2111.12877v1
Date: Thu, 25 Nov 2021 02:32:19 GMT
ステータス: 処理完了
システム内更新日: 2021-11-29 18:17:45.897508
Title: A Letter on Convergence of In-Parameter-Linear Nonlinear Neural Architectures with Gradient Learnings
Title（参考訳）: 勾配学習によるパラメータ内非線形ニューラルネットワークの収束性
Authors: Ivo Bukovsky, Gejza Dohnal, Peter M. Benes, Kei Ichiji, Noriyasu Homma
Abstract要約: この手紙は、重み収束に対する有界入出力有界状態(BIBS)の安定性の概念を要約し、証明している。実効的なBIBS収束条件は、個々の学習ポイントやリアルタイムアプリケーションのバッチ毎に導出された証明から得られる。
参考スコア（独自算出の注目度）: 1.8899300124593643
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: This letter summarizes and proves the concept of bounded-input bounded-state (BIBS) stability for weight convergence of a broad family of in-parameter-linear nonlinear neural architectures as it generally applies to a broad family of incremental gradient learning algorithms. A practical BIBS convergence condition results from the derived proofs for every individual learning point or batches for real-time applications.
Abstract（参考訳）: このレターは、一般に漸進的勾配学習アルゴリズムの広いファミリーに適用されるように、多種多様な非線形非線形ニューラルネットワークアーキテクチャの重み収束に対する有界入力有界状態(bibs)安定性の概念を要約し、証明するものである。実効的なBIBS収束条件は、個々の学習ポイントやリアルタイムアプリケーションのバッチ毎に導出された証明から得られる。

関連論文リスト

Stability-based Generalization Bounds for Variational Inference [3.146069168382982]
変分推論(VI)はベイズ機械学習における近似推論に広く用いられている。本稿では、近似ベイズアルゴリズムのクラスに対する安定性に基づく一般化境界を開発する。新しいアプローチはPAC-Bayes分析を補完し、場合によってはより厳密な境界を提供する。
論文参考訳（メタデータ） (2025-02-17T22:40:26Z)
TD(0) Learning converges for Polynomial mixing and non-linear functions [49.1574468325115]
そこで本研究では,より適切な仮定の下でのTD学習に関する理論的知見について述べる。これは、普遍的および非独立なステップサイズの下でマルコフデータ上でのTD(0)収束の最初の証明である。我々の結果は、一般化勾配の下での線型モデルと非線形モデルの境界と、H"より古い連続性を含む。
論文参考訳（メタデータ） (2025-02-08T22:01:02Z)
Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
The consistency properties of TD learning with Polyak-Ruppert averaging and linear function approximation。まず、分散に明示的に依存し、弱い条件下で保持する新しい高次元確率収束保証を導出する。さらに、文献よりも高速な速度を保証する凸集合のクラスに対して、洗練された高次元ベリー-エッセイン境界を確立する。
論文参考訳（メタデータ） (2024-10-21T15:34:44Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Deep NURBS -- Admissible Physics-informed Neural Networks [0.0]
偏微分方程式(PDE)の高精度かつ安価な解を可能にする物理インフォームドニューラルネットワーク(PINN)の新しい数値スキームを提案する。提案手法は、物理領域とディリクレ境界条件を定義するのに必要な許容的なNURBSパラメトリゼーションとPINNソルバを組み合わせたものである。
論文参考訳（メタデータ） (2022-10-25T10:35:45Z)
Learning Linear Non-Gaussian Polytree Models [2.4493299476776778]
ポリツリーであるグラフを効率的に学習するアルゴリズムを提案する。提案手法は,まず無向木構造を学習するChow-Liuアルゴリズムと,エッジを指向する新しいスキームを組み合わせたものである。
論文参考訳（メタデータ） (2022-08-13T18:20:10Z)
Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文参考訳（メタデータ） (2021-01-15T11:39:09Z)
Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
論文参考訳（メタデータ） (2020-10-26T11:31:08Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Finite-Sample Analysis of Stochastic Approximation Using Smooth Convex Envelopes [40.31139355952393]
一般化エンベロープを用いて滑らかなリャプノフ函数を構築し、そのリャプノフ函数に対してSAの反復体が負のドリフトを持つことを示す。特に、政治以外のTD学習において、Vトレースアルゴリズムの最初の既知収束率を確立するためにこれを用いる。また、TD学習を現場で研究し、既存の最先端の成果を$Q$ラーニングで回収する。
論文参考訳（メタデータ） (2020-02-03T16:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。