論文の概要: A Letter on Convergence of In-Parameter-Linear Nonlinear Neural
Architectures with Gradient Learnings
- arxiv url: http://arxiv.org/abs/2111.12877v1
- Date: Thu, 25 Nov 2021 02:32:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-29 18:17:45.897508
- Title: A Letter on Convergence of In-Parameter-Linear Nonlinear Neural
Architectures with Gradient Learnings
- Title(参考訳): 勾配学習によるパラメータ内非線形ニューラルネットワークの収束性
- Authors: Ivo Bukovsky, Gejza Dohnal, Peter M. Benes, Kei Ichiji, Noriyasu Homma
- Abstract要約: この手紙は、重み収束に対する有界入出力有界状態(BIBS)の安定性の概念を要約し、証明している。
実効的なBIBS収束条件は、個々の学習ポイントやリアルタイムアプリケーションのバッチ毎に導出された証明から得られる。
- 参考スコア(独自算出の注目度): 1.8899300124593643
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This letter summarizes and proves the concept of bounded-input bounded-state
(BIBS) stability for weight convergence of a broad family of
in-parameter-linear nonlinear neural architectures as it generally applies to a
broad family of incremental gradient learning algorithms. A practical BIBS
convergence condition results from the derived proofs for every individual
learning point or batches for real-time applications.
- Abstract(参考訳): このレターは、一般に漸進的勾配学習アルゴリズムの広いファミリーに適用されるように、多種多様な非線形非線形ニューラルネットワークアーキテクチャの重み収束に対する有界入力有界状態(bibs)安定性の概念を要約し、証明するものである。
実効的なBIBS収束条件は、個々の学習ポイントやリアルタイムアプリケーションのバッチ毎に導出された証明から得られる。
関連論文リスト
- Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Deep nurbs -- admissible neural networks [0.0]
偏微分方程式(PDE)の高精度かつ安価な解を可能にする物理インフォームドニューラルネットワーク(PINN)の新しい数値スキームを提案する。
提案手法は、物理領域とディリクレ境界条件を定義するのに必要な許容的なNURBSパラメトリゼーションとPINNソルバを組み合わせたものである。
論文 参考訳(メタデータ) (2022-10-25T10:35:45Z) - ProjB: An Improved Bilinear Biased ProjE model for Knowledge Graph
Completion [1.5576879053213302]
この研究は、計算の複雑さが低く、モデル改善の可能性が高いため、ProjE KGEを改善する。
FB15KやWN18のようなベンチマーク知識グラフ(KG)の実験結果から、提案手法はエンティティ予測タスクにおける最先端モデルよりも優れていることが示された。
論文 参考訳(メタデータ) (2022-08-15T18:18:05Z) - Learning Linear Non-Gaussian Polytree Models [2.4493299476776778]
ポリツリーであるグラフを効率的に学習するアルゴリズムを提案する。
提案手法は,まず無向木構造を学習するChow-Liuアルゴリズムと,エッジを指向する新しいスキームを組み合わせたものである。
論文 参考訳(メタデータ) (2022-08-13T18:20:10Z) - Bilinear Classes: A Structural Framework for Provable Generalization in
RL [119.42509700822484]
Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。
このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。
我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
論文 参考訳(メタデータ) (2021-03-19T16:34:20Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳(メタデータ) (2021-01-15T11:39:09Z) - Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。
合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-10-26T11:31:08Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z) - Finite-Sample Analysis of Stochastic Approximation Using Smooth Convex
Envelopes [40.31139355952393]
一般化エンベロープを用いて滑らかなリャプノフ函数を構築し、そのリャプノフ函数に対してSAの反復体が負のドリフトを持つことを示す。
特に、政治以外のTD学習において、Vトレースアルゴリズムの最初の既知収束率を確立するためにこれを用いる。
また、TD学習を現場で研究し、既存の最先端の成果を$Q$ラーニングで回収する。
論文 参考訳(メタデータ) (2020-02-03T16:42:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。