論文の概要: Upper Bounds for Local Learning Coefficients of Three-Layer Neural Networks

• arxiv url: http://arxiv.org/abs/2603.12785v1
• Date: Fri, 13 Mar 2026 08:41:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:11.998967
• Title: Upper Bounds for Local Learning Coefficients of Three-Layer Neural Networks
• Title（参考訳）: 3層ニューラルネットワークの局所学習係数に対する上界
• Authors: Yuki Kurumadani,
• Abstract要約: 3層ニューラルネットワークにおける特異点における局所学習係数の上限式を導出する。 この公式は予算制約と需要供給制約の下でのカウントルールと解釈できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Three-layer neural networks are known to form singular learning models, and their Bayesian asymptotic behavior is governed by the learning coefficient, or real log canonical threshold. Although this quantity has been clarified for regular models and for some special singular models, broadly applicable methods for evaluating it in neural networks remain limited. Recently, a formula for the local learning coefficient of semiregular models was proposed, yielding an upper bound on the learning coefficient. However, this formula applies only to nonsingular points in the set of realization parameters and cannot be used at singular points. In particular, for three-layer neural networks, the resulting upper bound has been shown to differ substantially from learning coefficient values already known in some cases. In this paper, we derive an upper-bound formula for the local learning coefficient at singular points in three-layer neural networks. This formula can be interpreted as a counting rule under budget constraints and demand-supply constraints, and is applicable to general analytic activation functions. In particular, it covers the swish function and polynomial functions, extending previous results to a wider class of activation functions. We further show that, when the input dimension is one, the upper bound obtained here coincides with the already known learning coefficient, thereby partially resolving the discrepancy above. Our result also provides a systematic perspective on how the weight parameters of three-layer neural networks affect the learning coefficient.
• Abstract（参考訳）: 3層ニューラルネットワークは特異学習モデルを形成することが知られており、ベイズ漸近挙動は学習係数、すなわち実対数正準しきい値によって制御される。 この量は、正規モデルやいくつかの特別な特異モデルに対して明らかにされているが、ニューラルネットワークで評価するための広く適用可能な方法はまだ限られている。 近年,半正則モデルの局所学習係数の定式化が提案され,学習係数の上限が与えられた。 しかし、この公式は実現パラメータの集合の非特異点にのみ適用され、特異点では使用できない。 特に3層ニューラルネットワークの場合、結果の上限は、すでに知られている学習係数値と大きく異なることが示されている。 本稿では,3層ニューラルネットワークにおける特異点における局所学習係数の上限式を導出する。 この公式は、予算制約と需要供給制約の下でのカウントルールと解釈することができ、一般的な解析活性化関数に適用できる。 特に、Swish関数と多項式関数をカバーし、以前の結果をより広範なアクティベーション関数のクラスに拡張する。 さらに、入力次元が1のとき、ここで得られた上限は既知の学習係数と一致し、上記の差分を部分的に解消することを示した。 また,3層ニューラルネットワークの重みパラメータが学習係数に与える影響について,系統的な考察を行った。

関連論文リスト

• Dimension-independent learning rates for high-dimensional classification problems [53.622581586464634]
  各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。 次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
  論文  参考訳（メタデータ） (2024-09-26T16:02:13Z)
• The Local Learning Coefficient: A Singularity-Aware Complexity Measure [2.1670528702668648]
  深層ニューラルネットワーク(DNN)の新たな複雑性尺度として,局所学習係数(LLC)が導入されている。 本稿では,LLCの理論的基盤を探究し,その応用に関する明確な定義と直感的な洞察を提供する。 最終的に、LLCは、ディープラーニングの複雑さとパーシモニーの原則との明らかな矛盾を和らげる重要なツールとして現れます。
  論文  参考訳（メタデータ） (2023-08-23T12:55:41Z)
• A new approach to generalisation error of machine learning algorithms: Estimates and convergence [0.0]
  本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。 本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
  論文  参考訳（メタデータ） (2023-06-23T20:57:31Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• A Tutorial on Neural Networks and Gradient-free Training [0.0]
  本稿では,自己完結型チュートリアル方式で,ニューラルネットワークのコンパクトな行列ベース表現を提案する。 ニューラルネットワークは数個のベクトル値関数を構成する数学的非線形関数である。
  論文  参考訳（メタデータ） (2022-11-26T15:33:11Z)
• Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
  大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。 この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
  論文  参考訳（メタデータ） (2021-10-29T07:53:35Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Towards a mathematical framework to inform Neural Network modelling via Polynomial Regression [0.0]
  特定の条件が局所的に満たされた場合、ほぼ同一の予測が可能であることが示されている。 生成したデータから学習すると,そのデータを局所的に近似的に生成する。
  論文  参考訳（メタデータ） (2021-02-07T17:56:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。