論文の概要: Scaling Effects and Uncertainty Quantification in Neural Actor Critic Algorithms

• arxiv url: http://arxiv.org/abs/2601.17954v1
• Date: Sun, 25 Jan 2026 19:06:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.558226
• Title: Scaling Effects and Uncertainty Quantification in Neural Actor Critic Algorithms
• Title（参考訳）: ニューラルアクター批判アルゴリズムにおけるスケーリング効果と不確かさの定量化
• Authors: Nikos Georgoudios, Konstantinos Spiliopoulos, Justin Sirignano,
• Abstract要約: 本研究では, アクターモデルとアクターモデルの両方に対して, 浅いニューラルネットワークを用いたニューラルアクター批判アルゴリズムについて検討する。 ネットワーク幅やトレーニングの回数が無限大になる傾向にあるため,ネットワーク出力の収束特性を様々なスケーリング方式で比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the neural Actor Critic algorithm using shallow neural networks for both the Actor and Critic models. The focus of this work is twofold: first, to compare the convergence properties of the network outputs under various scaling schemes as the network width and the number of training steps tend to infinity; and second, to provide precise control of the approximation error associated with each scaling regime. Previous work has shown convergence to ordinary differential equations with random initial conditions under inverse square root scaling in the network width. In this work, we shift the focus from convergence speed alone to a more comprehensive statistical characterization of the algorithm's output, with the goal of quantifying uncertainty in neural Actor Critic methods. Specifically, we study a general inverse polynomial scaling in the network width, with an exponent treated as a tunable hyperparameter taking values strictly between one half and one. We derive an asymptotic expansion of the network outputs, interpreted as statistical estimators, in order to clarify their structure. To leading order, we show that the variance decays as a power of the network width, with an exponent equal to one half minus the scaling parameter, implying improved statistical robustness as the scaling parameter approaches one. Numerical experiments support this behavior and further suggest faster convergence for this choice of scaling. Finally, our analysis yields concrete guidelines for selecting algorithmic hyperparameters, including learning rates and exploration rates, as functions of the network width and the scaling parameter, ensuring provably favorable statistical behavior.
• Abstract（参考訳）: 本研究では, アクターモデルとアクターモデルの両方に対して, 浅いニューラルネットワークを用いたニューラルアクター批判アルゴリズムについて検討する。 この研究の焦点は2つある: まず、ネットワーク幅とトレーニングの回数が無限大になる傾向があるため、様々なスケーリングスキームの下でのネットワーク出力の収束特性を比較する。 従来の研究は、ネットワーク幅の逆二乗根スケーリングの下でランダムな初期条件を持つ通常の微分方程式に収束することを示してきた。 本研究では,収束速度のみからアルゴリズムの出力のより包括的な統計的特徴へと焦点を移し,ニューラルアクター批判法における不確かさの定量化を目指す。 具体的には、ネットワーク幅における一般的な逆多項式のスケーリングについて検討し、指数関数をチューニング可能なハイパーパラメータとして扱い、1～1の値に厳密に対応させる。 ネットワーク出力の漸近展開を統計的推定器として解釈し,その構造を明らかにする。 本研究では,ネットワーク幅のパワーとして分散が減衰し,指数がスケーリングパラメータを半減し,スケーリングパラメータが1に近づくにつれて統計的ロバスト性が向上することを示す。 数値実験は、この振る舞いをサポートし、このスケーリングの選択に対するより高速な収束を示唆する。 最後に,ネットワーク幅とスケーリングパラメータの関数として,学習率や探索率を含むアルゴリズム的ハイパーパラメータを選択するための具体的なガイドラインを得た。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Convergence Guarantees of Overparametrized Wide Deep Inverse Prior [1.5362025549031046]
  逆優先法(Inverse Priors)は、ランダムな入力をフォワードモデルの下で画像が観察に一致するオブジェクトに変換する、教師なしのアプローチである。 本研究では, 連続時間勾配勾配勾配からトレーニングしたネットワークが, 高確率で指数関数的に高速に収束するオーバーパラメトリゼーション境界を提供する。 この研究は、過度にパラメータ化されたDIPネットワークの理論的理解への第一歩であり、より広い範囲で、逆問題設定におけるニューラルネットワークの理論的理解に関与している。
  論文  参考訳（メタデータ） (2023-03-20T16:49:40Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
  大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。 この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
  論文  参考訳（メタデータ） (2021-10-29T07:53:35Z)
• Nonasymptotic theory for two-layer neural networks: Beyond the bias-variance trade-off [10.182922771556742]
  本稿では,ReLUアクティベーション機能を持つ2層ニューラルネットワークに対する漸近的一般化理論を提案する。 過度にパラメータ化されたランダムな特徴モデルは次元性の呪いに悩まされ、従って準最適であることを示す。
  論文  参考訳（メタデータ） (2021-06-09T03:52:18Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。