論文の概要: On the existence of optimal shallow feedforward networks with ReLU activation

• arxiv url: http://arxiv.org/abs/2303.03950v1
• Date: Mon, 6 Mar 2023 13:35:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 14:54:48.335753
• Title: On the existence of optimal shallow feedforward networks with ReLU activation
• Title（参考訳）: ReLU活性化を伴う最適浅層フィードフォワードネットワークの存在について
• Authors: Steffen Dereich and Sebastian Kassing
• Abstract要約: 我々は,ReLUを活性化した浅層フィードフォワード人工ニューラルネットワークを用いた連続目標関数の近似のための損失ランドスケープにおけるグローバルミニマの存在を証明した。 拡張空間最小化器が存在するように探索空間のある種の閉包を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove existence of global minima in the loss landscape for the approximation of continuous target functions using shallow feedforward artificial neural networks with ReLU activation. This property is one of the fundamental artifacts separating ReLU from other commonly used activation functions. We propose a kind of closure of the search space so that in the extended space minimizers exist. In a second step, we show under mild assumptions that the newly added functions in the extension perform worse than appropriate representable ReLU networks. This then implies that the optimal response in the extended target space is indeed the response of a ReLU network.
• Abstract（参考訳）: reluアクティベーションを用いた浅層フィードフォワード型ニューラルネットワークを用いて,連続目標関数近似のためのロスランドスケープにおけるグローバルミニマの存在を証明する。 この性質は、ReLUと他のよく使われるアクティベーション関数を分離する基本的なアーティファクトの1つである。 拡張空間最小化器が存在するように探索空間のある種の閉包を提案する。 第2のステップでは、新たに追加された拡張関数は、適切な表現可能なReLUネットワークよりも悪い性能を示すという軽微な仮定で示される。 これは、拡張対象空間における最適応答が、実際にreluネットワークの応答であることを意味する。

関連論文リスト

• Local Linear Recovery Guarantee of Deep Neural Networks at Overparameterization [3.3998740964877463]
  局所線形リカバリ (LLR) は, 目標関数リカバリの弱い形式である。 より狭いDNNで表現可能な関数は、モデルパラメータよりも少ないサンプルから復元可能であることを証明した。
  論文  参考訳（メタデータ） (2024-06-26T03:08:24Z)
• Approximation Error and Complexity Bounds for ReLU Networks on Low-Regular Function Spaces [0.0]
  本稿では,ReLUニューラルネットワークによる有界関数のクラスを最小限の正則性仮定で近似する。 近似誤差は対象関数の一様ノルムに比例した量で上から有界化可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-10T14:31:58Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation [2.3020018305241337]
  本稿では、ReLU$k$Activation Function for $k geq 2$を用いたディープネットワークの表現性と近似特性について検討する。 ディープ ReLU$k$ ネットワークは効率的に近似できるが、ディープ ReLU$k$ ネットワークは高次を正確に表現することができる。
  論文  参考訳（メタデータ） (2023-12-27T09:11:14Z)
• Reverse Engineering Deep ReLU Networks An Optimization-based Algorithm [0.0]
  本稿では,凸最適化手法とサンプリングに基づくアプローチを利用して,深部ReLUネットワークを再構築する手法を提案する。 我々の研究は、リバースエンジニアリングの深いReLUネットワークへの取り組みに寄与し、ニューラルネットワークの解釈可能性とセキュリティの新たな進歩の道を開く。
  論文  参考訳（メタデータ） (2023-12-07T20:15:06Z)
• Generalized Activation via Multivariate Projection [46.837481855573145]
  活性化関数はニューラルネットワークに非線形性を導入するのに不可欠である。 我々は、ReLU を R から非負半直線 R+ への射影とみなす。 一般化された射影作用素でReLUを2次錐(SOC)射影のような凸錐に置換することでReLUを拡張する。
  論文  参考訳（メタデータ） (2023-09-29T12:44:27Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
  最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。 我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:48:16Z)
• On the existence of minimizers in shallow residual ReLU neural network optimization landscapes [3.6185342807265415]
  多次元入力層とReLUアクティベーションを持つ1つの隠蔽層を有する残差ニューラルネットワーク(ANN)の損失ランドスケープに最小化器が存在することを示す。
  論文  参考訳（メタデータ） (2023-02-28T16:01:38Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。