論文の概要: A trainable manifold for accurate approximation with ReLU Networks
- arxiv url: http://arxiv.org/abs/2311.18022v1
- Date: Wed, 29 Nov 2023 19:09:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 18:59:45.779989
- Title: A trainable manifold for accurate approximation with ReLU Networks
- Title(参考訳): ReLUネットワークを用いた高精度近似のためのトレーニング可能な多様体
- Authors: Max Milkert and Forrest Laine
- Abstract要約: 本稿では,ReLU活性化ニューラルネットワークの重み制御を高速化する新しい手法を提案する。
我々は、これらの新しいネットワークの出力が指数関数的に多くの断片的線形セグメントを利用するような重みの多様体を導出する。
我々はこれらのネットワークを、必ずしも多様体上にあるとは限らない近似関数に訓練し、従来のアプローチよりも誤差値の顕著な減少を示す。
- 参考スコア(独自算出の注目度): 1.9580473532948401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel technique for exercising greater control of the weights of
ReLU activated neural networks to produce more accurate function
approximations. Many theoretical works encode complex operations into ReLU
networks using smaller base components. In these works, a common base component
is a constant width approximation to x^2, which has exponentially decaying
error with respect to depth. We extend this block to represent a greater range
of convex one-dimensional functions. We derive a manifold of weights such that
the output of these new networks utilizes exponentially many piecewise-linear
segments. This manifold guides their training process to overcome drawbacks
associated with random initialization and unassisted gradient descent. We train
these networks to approximate functions which do not necessarily lie on the
manifold, showing a significant reduction of error values over conventional
approaches.
- Abstract(参考訳): 本稿では,より正確な関数近似を生成するために,relu活性化ニューラルネットワークの重み付けをより制御するための新しい手法を提案する。
多くの理論的研究は、より小さなベースコンポーネントを使って複雑な演算をReLUネットワークにエンコードする。
これらの研究において、共通基底成分は x^2 に対する一定の幅近似であり、深さに関して指数関数的に誤差がある。
我々はこのブロックを拡張して、より広い凸一次元関数を表現する。
我々は、これらの新しいネットワークの出力が指数関数的に多くの分割線形セグメントを利用するような重みの多様体を導出する。
この多様体は、ランダム初期化と無支援勾配降下に関連する欠点を克服する訓練過程を導く。
我々は、これらのネットワークを多様体上に存在する必要のない近似関数に訓練し、従来の手法に比べて誤差値の大幅な低減を示す。
関連論文リスト
- Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。
この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
論文 参考訳(メタデータ) (2024-04-29T23:38:58Z) - Using Linear Regression for Iteratively Training Neural Networks [4.873362301533824]
ニューラルネットワークの重みとバイアスを学習するための単純な線形回帰に基づくアプローチを提案する。
このアプローチは、より大きく、より複雑なアーキテクチャに向けられている。
論文 参考訳(メタデータ) (2023-07-11T11:53:25Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳(メタデータ) (2021-11-02T20:24:01Z) - Training Integrable Parameterizations of Deep Neural Networks in the
Infinite-Width Limit [0.0]
大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。
2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。
この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
論文 参考訳(メタデータ) (2021-10-29T07:53:35Z) - On the Explicit Role of Initialization on the Convergence and Implicit
Bias of Overparametrized Linear Networks [1.0323063834827415]
勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。
正方形損失はその最適値に指数関数的に収束することを示す。
我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
論文 参考訳(メタデータ) (2021-05-13T15:13:51Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳(メタデータ) (2020-06-16T07:38:06Z) - An Effective and Efficient Initialization Scheme for Training
Multi-layer Feedforward Neural Networks [5.161531917413708]
本稿では,有名なスタインの身元に基づく新しいネットワーク初期化手法を提案する。
提案したSteinGLM法は、ニューラルネットワークのトレーニングによく使われる他の一般的な手法よりもはるかに高速で高精度であることを示す。
論文 参考訳(メタデータ) (2020-05-16T16:17:37Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。