論文の概要: q-RBFNN:A Quantum Calculus-based RBF Neural Network
- arxiv url: http://arxiv.org/abs/2106.01370v1
- Date: Wed, 2 Jun 2021 08:27:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-04 15:58:52.956964
- Title: q-RBFNN:A Quantum Calculus-based RBF Neural Network
- Title（参考訳）: q-RBFNN:量子計算に基づくRBFニューラルネットワーク
- Authors: Syed Saiq Hussain, Muhammad Usman, Taha Hasan Masood Siddique, Imran
Naseem, Roberto Togneri, Mohammed Bennamoun
- Abstract要約: 放射状基底関数ニューラルネットワーク(RBFNN)に対する勾配降下に基づく学習手法を提案する。
提案手法は、ジャクソン微分(Jackson derivative)とも呼ばれるq勾配に基づく。
提案した$q$-RBFNNは最小二乗アルゴリズムの文脈における収束性能について解析する。
- 参考スコア（独自算出の注目度）: 31.14412266444568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this research a novel stochastic gradient descent based learning approach
for the radial basis function neural networks (RBFNN) is proposed. The proposed
method is based on the q-gradient which is also known as Jackson derivative. In
contrast to the conventional gradient, which finds the tangent, the q-gradient
finds the secant of the function and takes larger steps towards the optimal
solution. The proposed $q$-RBFNN is analyzed for its convergence performance in
the context of least square algorithm. In particular, a closed form expression
of the Wiener solution is obtained, and stability bounds of the learning rate
(step-size) is derived. The analytical results are validated through computer
simulation. Additionally, we propose an adaptive technique for the time-varying
$q$-parameter to improve convergence speed with no trade-offs in the steady
state performance.
- Abstract（参考訳）: 本研究では,放射状基底関数ニューラルネットワーク(RBFNN)に対する確率勾配降下に基づく新しい学習手法を提案する。
提案手法は、ジャクソン微分(Jackson derivative)とも呼ばれるq勾配に基づく。
接点を求める従来の勾配とは対照的に、q-勾配は関数のセカントを見つけ、最適な解に向かって大きなステップを取る。
提案した$q$-RBFNNは最小二乗アルゴリズムの文脈における収束性能について解析する。
特に、ウィナー溶液の閉形式式を求め、学習率(ステップサイズ)の安定性境界を求める。
解析結果はコンピュータシミュレーションによって検証される。
さらに,安定状態性能のトレードオフを伴わない収束速度を改善するために,時間変化の$q$-parameterの適応手法を提案する。
関連論文リスト
- A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimiax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳（メタデータ） (2023-10-31T16:15:13Z) - Approximation Results for Gradient Descent trained Neural Networks [0.0]
ネットワークは完全に接続された一定の深さ増加幅である。
連続カーネルエラーノルムは、滑らかな関数に必要な自然な滑らかさの仮定の下での近似を意味する。
論文 参考訳（メタデータ） (2023-09-09T18:47:55Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳（メタデータ） (2022-08-02T18:27:13Z) - A Differentiable Point Process with Its Application to Spiking Neural
Networks [13.160616423673373]
Jimenez Rezende & Gerstner (2014) は、隠れたニューロンでSNNを訓練するための変分推論アルゴリズムを提案した。
本稿では,経路ワイド勾配推定器に基づくSNNの代替勾配推定器を提案する。
論文 参考訳（メタデータ） (2021-06-02T02:40:17Z) - Optimal Rates for Averaged Stochastic Gradient Descent under Neural
Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。
本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文 参考訳（メタデータ） (2020-06-22T14:31:37Z) - Stable Neural Flows [15.318500611972441]
ニューラルネットワークによってパラメータ化されたエネルギー汎関数上で軌道が進化するニューラル常微分方程式(ニューラルODE)の確率的に安定な変種を導入する。
学習手順は最適制御問題としてキャストされ、随伴感性分析に基づいて近似解が提案される。
論文 参考訳（メタデータ） (2020-03-18T06:27:21Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。