論文の概要: Function Gradient Approximation with Random Shallow ReLU Networks with Control Applications

• arxiv url: http://arxiv.org/abs/2410.05071v1
• Date: Mon, 7 Oct 2024 14:26:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 00:28:18.678063
• Title: Function Gradient Approximation with Random Shallow ReLU Networks with Control Applications
• Title（参考訳）: ランダム浅層ReLUネットワークによる関数勾配近似と制御応用
• Authors: Andrew Lamperski, Siddharth Salapaka,
• Abstract要約: ニューラルネットワークは、制御における未知の関数を近似するために広く使われている。 いくつかのアプリケーション、特に連続時間値関数近似は、ネットワークが未知の関数とその勾配の両方を十分な精度で近似することを要求する。 我々は、ランダムに生成された入力パラメータとトレーニングされた出力パラメータが$O(log(m)/m)1/2の誤差の勾配をもたらし、さらに、以前の作業から定数を改善することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are widely used to approximate unknown functions in control. A common neural network architecture uses a single hidden layer (i.e. a shallow network), in which the input parameters are fixed in advance and only the output parameters are trained. The typical formal analysis asserts that if output parameters exist to approximate the unknown function with sufficient accuracy, then desired control performance can be achieved. A long-standing theoretical gap was that no conditions existed to guarantee that, for the fixed input parameters, required accuracy could be obtained by training the output parameters. Our recent work has partially closed this gap by demonstrating that if input parameters are chosen randomly, then for any sufficiently smooth function, with high-probability there are output parameters resulting in $O((1/m)^{1/2})$ approximation errors, where $m$ is the number of neurons. However, some applications, notably continuous-time value function approximation, require that the network approximates the both the unknown function and its gradient with sufficient accuracy. In this paper, we show that randomly generated input parameters and trained output parameters result in gradient errors of $O((\log(m)/m)^{1/2})$, and additionally, improve the constants from our prior work. We show how to apply the result to policy evaluation problems.
• Abstract（参考訳）: ニューラルネットワークは、制御における未知の関数を近似するために広く使われている。 一般的なニューラルネットワークアーキテクチャでは、入力パラメータを事前に固定し、出力パラメータのみをトレーニングする単一の隠蔽層(すなわち浅いネットワーク)を使用する。 典型的な形式解析では、未知の関数を十分な精度で近似するために出力パラメータが存在する場合、所望の制御性能が達成できると主張している。 長期にわたる理論的なギャップは、固定された入力パラメータに対して、出力パラメータをトレーニングすることで必要な精度が得られることを保証できる条件が存在しないことである。 我々の最近の研究は、入力パラメータがランダムに選択された場合、十分に滑らかな関数に対して、高い確率で出力パラメータが存在し、結果として$O((1/m)^{1/2})$近似誤差が生じ、$m$がニューロンの数であることを示すことで、このギャップを部分的に閉じている。 しかし、いくつかのアプリケーション、特に連続時間値関数近似は、ネットワークが未知の関数とその勾配の両方を十分な精度で近似することを要求している。 本稿では、ランダムに生成された入力パラメータとトレーニングされた出力パラメータが、$O((\log(m)/m)^{1/2})$の勾配誤差をもたらし、さらに、これまでの作業から定数を改善することを示す。 政策評価問題に結果をどう適用するかを示す。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
  ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。 本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-03-25T19:39:17Z)
• Trainability Barriers in Low-Depth QAOA Landscapes [0.0]
  QAOA(Quantum Alternating Operator Ansatz)は最適化問題を解くための変分量子アルゴリズムである。 以前の結果から、小さなパラメータの固定数の解析性能が保証された。 本研究は,近年の数値研究の焦点である中間体制における訓練の難しさについて考察する。
  論文  参考訳（メタデータ） (2024-02-15T18:45:30Z)
• Geometry-induced Implicit Regularization in Deep ReLU Neural Networks [0.0]
  暗黙の正則化現象は、まだよく理解されていないが、最適化中に起こる。 パラメータの異なる出力集合の幾何について検討する。 バッチ関数次元は隠蔽層内の活性化パターンによってほぼ確実に決定されることを示す。
  論文  参考訳（メタデータ） (2024-02-13T07:49:57Z)
• Should We Learn Most Likely Functions or Parameters? [51.133793272222874]
  モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。 関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
  論文  参考訳（メタデータ） (2023-11-27T16:39:55Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Efficient uniform approximation using Random Vector Functional Link networks [0.0]
  ランダムベクトル関数リンク(英: Random Vector Functional Link, RVFL)は、ランダムな内部ノードとバイアスを持つディープ2ニューラルネットワークである。 本稿では、ReLUアクティベートされたRVFLがLipschitzターゲット関数を近似できることを示す。 我々の証明法は理論と調和解析に根ざしている。
  論文  参考訳（メタデータ） (2023-06-30T09:25:03Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• Neural Network Approximation of Refinable Functions [8.323468006516018]
  本研究では, 深部ReLUネットワークの出力幅が一定であり, 精度指数で深部を増大させることにより, 精錬可能関数が近似可能であることを示す。 本研究は,ウェーブレットの標準構成に使用される関数と,コンピュータ支援幾何設計における部分分割アルゴリズムを用いて構築される関数に適用する。
  論文  参考訳（メタデータ） (2021-07-28T06:45:36Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。