論文の概要: On the existence of optimal shallow feedforward networks with ReLU
activation
- arxiv url: http://arxiv.org/abs/2303.03950v1
- Date: Mon, 6 Mar 2023 13:35:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 14:54:48.335753
- Title: On the existence of optimal shallow feedforward networks with ReLU
activation
- Title(参考訳): ReLU活性化を伴う最適浅層フィードフォワードネットワークの存在について
- Authors: Steffen Dereich and Sebastian Kassing
- Abstract要約: 我々は,ReLUを活性化した浅層フィードフォワード人工ニューラルネットワークを用いた連続目標関数の近似のための損失ランドスケープにおけるグローバルミニマの存在を証明した。
拡張空間最小化器が存在するように探索空間のある種の閉包を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We prove existence of global minima in the loss landscape for the
approximation of continuous target functions using shallow feedforward
artificial neural networks with ReLU activation. This property is one of the
fundamental artifacts separating ReLU from other commonly used activation
functions. We propose a kind of closure of the search space so that in the
extended space minimizers exist. In a second step, we show under mild
assumptions that the newly added functions in the extension perform worse than
appropriate representable ReLU networks. This then implies that the optimal
response in the extended target space is indeed the response of a ReLU network.
- Abstract(参考訳): reluアクティベーションを用いた浅層フィードフォワード型ニューラルネットワークを用いて,連続目標関数近似のためのロスランドスケープにおけるグローバルミニマの存在を証明する。
この性質は、ReLUと他のよく使われるアクティベーション関数を分離する基本的なアーティファクトの1つである。
拡張空間最小化器が存在するように探索空間のある種の閉包を提案する。
第2のステップでは、新たに追加された拡張関数は、適切な表現可能なReLUネットワークよりも悪い性能を示すという軽微な仮定で示される。
これは、拡張対象空間における最適応答が、実際にreluネットワークの応答であることを意味する。
関連論文リスト
- Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax
Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes [7.433327915285969]
我々は,ロジスティック損失に基づいて学習した広帯域および深部ReLUニューラルネットワーク分類器の普遍的整合性を証明する。
また、ニューラルネットワークに基づく分類器が最小収束率を達成できる確率尺度のクラスに対して十分な条件を与える。
論文 参考訳(メタデータ) (2024-01-08T23:54:46Z) - Expressivity and Approximation Properties of Deep Neural Networks with
ReLU$^k$ Activation [2.3020018305241337]
本稿では、ReLU$k$Activation Function for $k geq 2$を用いたディープネットワークの表現性と近似特性について検討する。
ディープ ReLU$k$ ネットワークは効率的に近似できるが、ディープ ReLU$k$ ネットワークは高次を正確に表現することができる。
論文 参考訳(メタデータ) (2023-12-27T09:11:14Z) - Reverse Engineering Deep ReLU Networks An Optimization-based Algorithm [0.0]
本稿では,凸最適化手法とサンプリングに基づくアプローチを利用して,深部ReLUネットワークを再構築する手法を提案する。
我々の研究は、リバースエンジニアリングの深いReLUネットワークへの取り組みに寄与し、ニューラルネットワークの解釈可能性とセキュリティの新たな進歩の道を開く。
論文 参考訳(メタデータ) (2023-12-07T20:15:06Z) - Generalized Activation via Multivariate Projection [46.837481855573145]
活性化関数はニューラルネットワークに非線形性を導入するのに不可欠である。
我々は、ReLU を R から非負半直線 R+ への射影とみなす。
一般化された射影作用素でReLUを2次錐(SOC)射影のような凸錐に置換することでReLUを拡張する。
論文 参考訳(メタデータ) (2023-09-29T12:44:27Z) - The Implicit Bias of Minima Stability in Multivariate Shallow ReLU
Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。
我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文 参考訳(メタデータ) (2023-06-30T09:17:39Z) - Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。
我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
論文 参考訳(メタデータ) (2023-05-31T18:48:16Z) - On the existence of minimizers in shallow residual ReLU neural network
optimization landscapes [2.1055643409860743]
実際の関連する学習問題では、GD最適化プロセスが境界を保ち続けるように、ANNアーキテクチャを設計することが望ましいと考えられる。
特に、GDトラジェクトリは、誤差関数(対象関数)の無限小が最適化ランドスケープで達成されない場合、無限大に逃れることができる。
このことは、最適化ランドスケープにおける最小化器の存在に関する疑問を自然に提起する。
論文 参考訳(メタデータ) (2023-02-28T16:01:38Z) - PEA: Improving the Performance of ReLU Networks for Free by Using
Progressive Ensemble Activations [0.0]
ニューラルネットワークの性能を改善するために、新しい活性化関数が提案されている。
本稿では,ReLUネットワークの性能向上に有効な手法を提案する。
論文 参考訳(メタデータ) (2022-07-28T13:29:07Z) - Jump Operator Planning: Goal-Conditioned Policy Ensembles and Zero-Shot
Transfer [71.44215606325005]
本稿では,シーケンシャルなサブゴールタスクの超指数空間における解を高速に計算するための,Jump-Operator Dynamic Programmingという新しいフレームワークを提案する。
このアプローチでは、時間的に拡張された行動として機能する、再利用可能な目標条件付き警察のアンサンブルを制御する。
すると、この部分空間上の目的関数のクラスを、解がグラウンド化に不変であるものとして特定し、最適ゼロショット移動をもたらす。
論文 参考訳(メタデータ) (2020-07-06T05:13:20Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳(メタデータ) (2020-05-26T16:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。