論文の概要: Equidistribution-based training of Free Knot Splines and ReLU Neural Networks

• arxiv url: http://arxiv.org/abs/2407.02153v2
• Date: Thu, 23 Jan 2025 14:15:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:55:08.783810
• Title: Equidistribution-based training of Free Knot Splines and ReLU Neural Networks
• Title（参考訳）: 自由結び目とReLUニューラルネットワークの等価分布に基づく学習
• Authors: Simone Appella, Simon Arridge, Chris Budd, Teo Deveney, Lisa Maria Kreusser,
• Abstract要約: 固定化線形ユニット(ReLU)アクティベーション機能を持つ浅層ニューラルネットワーク(NN)を用いて,$L$に基づく近似問題は不条件であることを示す。 まず,最適ノット位置を求める非線形問題を解くことで,FKSのトレーニングを行う2段階の手順を提案する。 次に、FKSの最適重みと結び目を決定する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We consider the problem of univariate nonlinear function approximation using shallow neural networks (NN) with a rectified linear unit (ReLU) activation function. We show that the $L_2$ based approximation problem is ill-conditioned and the behaviour of optimisation algorithms used in training these networks degrades rapidly as the width of the network increases. This can lead to significantly poorer approximation in practice than expected from the theoretical expressivity of the ReLU architecture and traditional methods such as univariate Free Knot Splines (FKS). Univariate shallow ReLU NNs and FKS span the same function space, and thus have the same theoretical expressivity. However, the FKS representation remains well-conditioned as the number of knots increases. We leverage the theory of optimal piecewise linear interpolants to improve the training procedure for ReLU NNs. Using the equidistribution principle, we propose a two-level procedure for training the FKS by first solving the nonlinear problem of finding the optimal knot locations of the interpolating FKS, and then determine the optimal weights and knots of the FKS by solving a nearly linear, well-conditioned problem. The training of the FKS gives insights into how we can train a ReLU NN effectively, with an equally accurate approximation. We combine the training of the ReLU NN with an equidistribution-based loss to find the breakpoints of the ReLU functions. This is then combined with preconditioning the ReLU NN approximation to find the scalings of the ReLU functions. This fast, well-conditioned and reliable method finds an accurate shallow ReLU NN approximation to a univariate target function. We test this method on a series of regular, singular, and rapidly varying target functions and obtain good results, realising the expressivity of the shallow ReLU network in all cases. We then extend our results to deeper networks.
• Abstract（参考訳）: 直交線形ユニット(ReLU)アクティベーション機能を持つ浅層ニューラルネットワーク(NN)を用いた一変量非線形関数近似の問題点を考察する。 L_2$に基づく近似問題は不条件であり、ネットワークの幅が大きくなるにつれて、これらのネットワークのトレーニングに使用される最適化アルゴリズムの挙動は急速に低下する。 これは、ReLUアーキテクチャの理論的表現性と、FKS(Univariate Free Knot Splines)のような伝統的な手法から予想されるよりもはるかに低い近似をもたらす可能性がある。 一様浅部 ReLU NN と FKS は同じ関数空間にまたがり、したがって同じ理論的表現性を持つ。 しかし、FKS表現は結び目の数が増加するにつれてよく条件付けされている。 我々は、ReLU NNのトレーニング手順を改善するために、最適片方向線形補間理論を利用する。 まず, 補間FKSの最適結び目位置を求める非線形問題を解くことでFKSをトレーニングするための2段階の手順を提案し, そして, ほぼ線形で条件の整った問題を解くことによってFKSの最適重みと結び目を決定する。 FKSのトレーニングは、ReLU NNを効果的にトレーニングする方法に関する洞察を与えます。 本稿では,ReLU NNのトレーニングと等価分布に基づく損失を組み合わせて,ReLU関数のブレークポイントを求める。 その後、ReLU NN近似の事前条件と組み合わせて、ReLU関数のスケーリングを見つける。 この高速で良条件で信頼性の高い手法は、単変量対象関数に対する正確な浅いReLU NN近似を求める。 本手法は, 正規関数, 特異関数, 急激な変化対象関数を用いて実験を行い, すべての場合において浅部ReLUネットワークの表現性を実現する。 そして、結果をより深いネットワークに拡張します。

関連論文リスト

• Benign Overfitting for Regression with Trained Two-Layer ReLU Networks [14.36840959836957]
  本稿では,2層完全連結ニューラルネットワークを用いた最小二乗回帰問題と,勾配流によるReLU活性化関数について検討する。 最初の結果は一般化結果であり、基礎となる回帰関数や、それらが有界であること以外のノイズを仮定する必要はない。
  論文  参考訳（メタデータ） (2024-10-08T16:54:23Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
  最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。 我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:48:16Z)
• How do noise tails impact on deep ReLU networks? [2.5889847253961418]
  非パラメトリック回帰関数のクラスにおける最適収束速度が p, 滑らか度, 内在次元に依存することを示す。 我々はまた、深部ReLUニューラルネットワークの近似理論に関する新しい結果にも貢献する。
  論文  参考訳（メタデータ） (2022-03-20T00:27:32Z)
• Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions [41.337814204665364]
  ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。 凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:50:53Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis [27.022551495550676]
  本稿では,FLの勾配降下によって訓練された過減化ReLUニューラルネットワークに対応するFL-NTK(Learning Neural Kernel)について,新しい収束解析法を提案する。 理論的には、FL-NTKは線形学習パラメータを適切に調整した自明な速度で大域最適解に収束する。
  論文  参考訳（メタデータ） (2021-05-11T13:05:53Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。