Fugu-MT 論文翻訳(概要): Hyperplane Arrangements and Fixed Points in Iterated PWL Neural Networks

論文の概要: Hyperplane Arrangements and Fixed Points in Iterated PWL Neural Networks

arxiv url: http://arxiv.org/abs/2405.09878v2
Date: Sun, 14 Jul 2024 18:01:28 GMT
ステータス: 処理完了
システム内更新日: 2024-07-17 00:46:04.634541
Title: Hyperplane Arrangements and Fixed Points in Iterated PWL Neural Networks
Title（参考訳）: 反復型PWLニューラルネットワークにおける超平面配置と固定点
Authors: Hans-Peter Beise,
Abstract要約: 我々は超平面配置の枠組みを活用して(安定な)固定点の潜在的領域を分析する。分割線形(PWL)アクティベーション機能を備えた多層ニューラルネットワークに対する固定点数の上限を与える。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We leverage the framework of hyperplane arrangements to analyze potential regions of (stable) fixed points. We provide an upper bound on the number of fixed points for multi-layer neural networks equipped with piecewise linear (PWL) activation functions with arbitrary many linear pieces. The theoretical optimality of the exponential growth in the number of layers of the latter bound is shown. Specifically, we also derive a sharper upper bound on the number of stable fixed points for one-hidden-layer networks with hard tanh activation.
Abstract（参考訳）: 我々は超平面配置の枠組みを活用して(安定な)固定点の潜在的領域を分析する。多層ニューラルネットワークにおいて、任意の多くの線形部分を持つピースワイド線形(PWL)アクティベーション関数を備えた固定点数の上限を与える。後者境界の層数における指数的成長の理論的最適性を示す。具体的には、ハードタンハアクティベーションを持つ一隠れ層ネットワークの安定な固定点数に基づいて、よりシャープな上限を導出する。

関連論文リスト

Hierarchical Multi-Marginal Optimal Transport for Network Alignment [52.206006379563306]
マルチネットワークアライメントは,複数ネットワーク上での協調学習に必須の要件である。マルチネットワークアライメントのための階層型マルチマージ最適トランスポートフレームワークHOTを提案する。提案するHOTは,有効性とスケーラビリティの両面で,最先端の大幅な改善を実現している。
論文参考訳（メタデータ） (2023-10-06T02:35:35Z)
Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文参考訳（メタデータ） (2023-05-25T14:17:15Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
On the Number of Regions of Piecewise Linear Neural Networks [16.78532039510369]
多くのフィードフォワードニューラルネットワーク(NN)はCPWLマッピングを生成する。これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。本稿では,CPWL NN が生成する線形領域の平均数を推定する補完的フレームワークを提案する。
論文参考訳（メタデータ） (2022-06-17T08:17:28Z)
Lower and Upper Bounds for Numbers of Linear Regions of Graph Convolutional Networks [11.338307976409707]
線形領域の数は、断片的な線形活性化を伴うニューラルネットワークの表現率のよい指標と考えられている。本稿では,従来のグラフ畳み込みネットワーク (GCN) の線形領域の数を1層,複数層シナリオで推定する。
論文参考訳（メタデータ） (2022-06-01T04:32:23Z)
Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks [7.090165638014331]
一定の層幅とスムーズな活性化関数を持つ深層残留ネットワークのトレーニングにおいて,勾配勾配の線形収束性を大域最小限に証明する。トレーニングされた重みは、層指数の関数として、ネットワークの深さが無限大になる傾向にあるため、H"古い"スケーリング制限が連続であることを示す。
論文参考訳（メタデータ） (2022-04-14T22:50:28Z)
Global Convergence Analysis of Deep Linear Networks with A One-neuron Layer [18.06634056613645]
2次損失下で1つのニューロンを持つ層を有するディープ線形ネットワークを最適化することを検討する。流下における任意の出発点を持つ軌道の収束点を記述する。我々は,大域勾配器に段階的に収束する軌道の収束率を示す。
論文参考訳（メタデータ） (2022-01-08T04:44:59Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
On the asymptotics of wide networks with polynomial activations [12.509746979383701]
ニューラルネットワークの動作に対処する既存の予測を,幅の広い範囲で検討する。活性化関数を持つディープネットワークの予想を証明した。解析的(および非線形)アクティベーション関数を持つネットワークと,ReLULUのような断片的アクティベーションを持つネットワークとの違いを指摘する。
論文参考訳（メタデータ） (2020-06-11T18:00:01Z)
Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。