論文の概要: The limitation of neural nets for approximation and optimization
- arxiv url: http://arxiv.org/abs/2311.12253v1
- Date: Tue, 21 Nov 2023 00:21:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 02:47:07.410054
- Title: The limitation of neural nets for approximation and optimization
- Title（参考訳）: 近似と最適化のためのニューラルネットワークの限界
- Authors: Tommaso Giovannelli, Oumaima Sohab, Luis Nunes Vicente
- Abstract要約: 最適化問題における目的関数の近似と最小化のために,ニューラルネットワークを代理モデルとして用いることに関心がある。
本研究は、一般的な非線形最適化テスト問題の目的関数を近似する最適なアクティベーション関数を決定することから始まる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We are interested in assessing the use of neural networks as surrogate models
to approximate and minimize objective functions in optimization problems. While
neural networks are widely used for machine learning tasks such as
classification and regression, their application in solving optimization
problems has been limited. Our study begins by determining the best activation
function for approximating the objective functions of popular nonlinear
optimization test problems, and the evidence provided shows that~SiLU has the
best performance. We then analyze the accuracy of function value, gradient, and
Hessian approximations for such objective functions obtained through
interpolation/regression models and neural networks. When compared to
interpolation/regression models, neural networks can deliver competitive zero-
and first-order approximations (at a high training cost) but underperform on
second-order approximation. However, it is shown that combining a neural net
activation function with the natural basis for quadratic
interpolation/regression can waive the necessity of including cross terms in
the natural basis, leading to models with fewer parameters to determine.
Lastly, we provide evidence that the performance of a state-of-the-art
derivative-free optimization algorithm can hardly be improved when the gradient
of an objective function is approximated using any of the surrogate models
considered, including neural networks.
- Abstract（参考訳）: 最適化問題における目的関数の近似と最小化のために,ニューラルネットワークを代理モデルとして用いることに関心がある。
ニューラルネットワークは分類や回帰といった機械学習タスクに広く使われているが、最適化問題の解法への応用は限られている。
本研究は,一般的な非線形最適化テスト問題の目的関数を近似する最善の活性化関数を決定することから始まる。
次に,補間・回帰モデルとニューラルネットワークを用いて得られた目的関数に対する関数値,勾配,ヘッセン近似の精度を解析した。
補間/回帰モデルと比較すると、ニューラルネットワークは(高いトレーニングコストで)競争力のあるゼロおよび1次近似を提供するが、2次近似では性能が劣る。
しかし,2次補間/回帰のための自然基底とニューラルネットの活性化関数を組み合わせることで,交叉項を自然に含む必要がなくなり,パラメータの少ないモデルが決定されることが示された。
最後に,目的関数の勾配をニューラルネットワークを含む任意のサーロゲートモデルを用いて近似した場合,最先端の微分自由最適化アルゴリズムの性能がほとんど改善されないことを示す。
関連論文リスト
- Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks [2.0072624123275533]
一般化されたガウスニュートン(GGN)最適化法は、曲率推定を解法に組み込む。
本研究では、2層ニューラルネットワークを明示的な正規化で最適化するGGN法について検討する。
論文 参考訳（メタデータ） (2024-04-23T10:02:22Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Neural Network-Based Score Estimation in Diffusion Models: Optimization
and Generalization [12.812942188697326]
拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。
これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。
様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
論文 参考訳（メタデータ） (2024-01-28T08:13:56Z) - A new approach to generalisation error of machine learning algorithms:
Estimates and convergence [0.0]
本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。
本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
論文 参考訳（メタデータ） (2023-06-23T20:57:31Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - A comparison of rational and neural network based approximations [0.0]
有理近似,ニューラルネットワークおよびそれらの組み合わせを用いた関数近似の効率を比較する。
その結果、有理近似は、同じ数の決定変数を持つニューラルネットワークベースのアプローチよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-03-08T08:31:06Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Acceleration techniques for optimization over trained neural network
ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。
本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文 参考訳（メタデータ） (2021-12-13T20:50:54Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳（メタデータ） (2021-07-14T03:03:56Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2021-03-15T17:26:34Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。