論文の概要: Function Forms of Simple ReLU Networks with Random Hidden Weights

• arxiv url: http://arxiv.org/abs/2505.17907v1
• Date: Fri, 23 May 2025 13:53:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.120231
• Title: Function Forms of Simple ReLU Networks with Random Hidden Weights
• Title（参考訳）: ランダム隠れ重みを持つ単純ReLUネットワークの機能形式
• Authors: Ka Long Keith Ho, Yoshinari Takeishi, Junichi Takeuchi,
• Abstract要約: 無限幅限界における2層ReLUニューラルネットワークの関数空間ダイナミクスについて検討する。 ステアリング学習におけるフィッシャー情報行列の役割を強調した。 この研究は、広いニューラルネットワークを理解するための堅牢な基盤を提供する。
• 参考スコア（独自算出の注目度）: 1.2289361708127877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the function space dynamics of a two-layer ReLU neural network in the infinite-width limit, highlighting the Fisher information matrix (FIM)'s role in steering learning. Extending seminal works on approximate eigendecomposition of the FIM, we derive the asymptotic behavior of basis functions ($f_v(x) = X^{\top} v $) for four groups of approximate eigenvectors, showing their convergence to distinct function forms. These functions, prioritized by gradient descent, exhibit FIM-induced inner products that approximate orthogonality in the function space, forging a novel connection between parameter and function spaces. Simulations validate the accuracy of these theoretical approximations, confirming their practical relevance. By refining the function space inner product's role, we advance the theoretical framework for ReLU networks, illuminating their optimization and expressivity. Overall, this work offers a robust foundation for understanding wide neural networks and enhances insights into scalable deep learning architectures, paving the way for improved design and analysis of neural networks.
• Abstract（参考訳）: 本研究では,二層ReLUニューラルネットワークの無限幅限界における機能空間のダイナミクスについて検討し,Fisher InformationMatrix(FIM)が操舵学習において果たす役割を強調した。 FIM の近似固有分解に関するセミナルな研究を拡張して、近似固有ベクトルの4つの群に対する基底関数(f_v(x) = X^{\top} v $)の漸近的挙動を導出し、それらの収束を異なる関数形式に示す。 これらの関数は勾配降下によって優先順位付けされ、関数空間の直交性に近似したFIM誘導内積を示し、パラメータと関数空間の間の新しい接続を鍛えている。 シミュレーションはこれらの理論近似の精度を検証し、その実用的妥当性を確認した。 関数空間の内部積の役割を洗練することにより、ReLUネットワークの理論的枠組みを前進させ、それらの最適化と表現性を照らし出す。 全体として、この研究は幅広いニューラルネットワークを理解するための堅牢な基盤を提供し、スケーラブルなディープラーニングアーキテクチャに対する洞察を高め、ニューラルネットワークの設計と分析を改善するための道を開く。

関連論文リスト

• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Approximation of RKHS Functionals by Neural Networks [30.42446856477086]
  ニューラルネットワークを用いたHilbert空間(RKHS)を再現するカーネル上の関数の近似について検討する。 逆多重四元数、ガウス、ソボレフのカーネルによって誘導される場合の明示的な誤差境界を導出する。 ニューラルネットワークが回帰マップを正確に近似できることを示すため,機能回帰に本研究の成果を適用した。
  論文  参考訳（メタデータ） (2024-03-18T18:58:23Z)
• Nonlinear functional regression by functional deep neural network with kernel embedding [18.927592350748682]
  本稿では,適応型・離散化不変次元減少法による機能的ディープニューラルネットワークを提案する。 様々な入力関数空間にまたがる非線形滑らかな関数の近似の比例率を導出する。 シミュレーションと実データの両方で数値実験を行い、機能ネットの有効性と利点を実証する。
  論文  参考訳（メタデータ） (2024-01-05T16:43:39Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Modern Non-Linear Function-on-Function Regression [8.231050911072755]
  本稿では,ニューラルネットワークを用いた関数データに対する非線形関数オン関数回帰モデルを提案する。 FDNN(Functional Direct Neural Network)とFBNN(Functional Basis Neural Network)の2つのモデルフィッティング戦略を提案する。
  論文  参考訳（メタデータ） (2021-07-29T16:19:59Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。