論文の概要: On Margin Maximization in Linear and ReLU Networks

• arxiv url: http://arxiv.org/abs/2110.02732v2
• Date: Thu, 7 Oct 2021 05:26:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 12:02:06.792928
• Title: On Margin Maximization in Linear and ReLU Networks
• Title（参考訳）: リニアおよびReLUネットワークにおけるマージン最大化について
• Authors: Gal Vardi, Ohad Shamir, Nathan Srebro
• Abstract要約: 指数的損失やロジスティック損失で訓練された均質ネットワークでは、勾配流は最大マージン問題のKKT点に収束する。 多くの場合、KKT 点は最大マージン問題の局所的最適化でさえない。 ローカルまたはグローバルな最適化を保証できる複数の設定を識別する。
• 参考スコア（独自算出の注目度）: 68.8508796827237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The implicit bias of neural networks has been extensively studied in recent years. Lyu and Li [2019] showed that in homogeneous networks trained with the exponential or the logistic loss, gradient flow converges to a KKT point of the max margin problem in the parameter space. However, that leaves open the question of whether this point will generally be an actual optimum of the max margin problem. In this paper, we study this question in detail, for several neural network architectures involving linear and ReLU activations. Perhaps surprisingly, we show that in many cases, the KKT point is not even a local optimum of the max margin problem. On the flip side, we identify multiple settings where a local or global optimum can be guaranteed. Finally, we answer a question posed in Lyu and Li [2019] by showing that for non-homogeneous networks, the normalized margin may strictly decrease over time.
• Abstract（参考訳）: ニューラルネットワークの暗黙のバイアスは近年広く研究されている。 Lyu and Li [2019] は指数的あるいはロジスティックな損失で訓練された同質ネットワークにおいて、勾配流はパラメータ空間の最大辺問題のKKT点に収束することを示した。 しかし、この点が一般に最大マージン問題の実際の最適であるかどうかという疑問が残る。 本稿では,線形およびReLU活性化を含むニューラルネットワークアーキテクチャについて,この問題を詳細に検討する。 意外なことに、多くの場合、KKT点は最大マージン問題の局所的な最適値ではない。 逆に、ローカルまたはグローバルに最適な設定が保証できる複数の設定を識別します。 最後に,Lyu と Li [2019] で提起された質問に対して,非同次ネットワークの場合,正規化マージンは時間とともに厳密に減少することを示した。

関連論文リスト

• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from KKT Conditions for Margin Maximization [59.038366742773164]
  ロジスティック損失の勾配流によって訓練された線形および漏洩ReLUは、KKT条件を満たすための暗黙の偏りを持つ。 本研究では、線形分類器や2層リークReLUネットワークにおいて、これらの条件の満足度が良性オーバーフィットを意味するような設定を多数確立する。
  論文  参考訳（メタデータ） (2023-03-02T18:24:26Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Implicit Regularization Towards Rank Minimization in ReLU Networks [34.41953136999683]
  ニューラルネットワークにおける暗黙の正規化とランク最小化の関係について検討する。 我々は非線形ReLUネットワークに焦点をあて、いくつかの新しい正および負の結果を提供する。
  論文  参考訳（メタデータ） (2022-01-30T09:15:44Z)
• Global convergence of ResNets: From finite to infinite width using linear parameterization [0.0]
  残差ブロックが非線形でありながら線形パラメトリゼーションを有する残差ネットワーク(Residual Networks, ResNets)について検討する。 この極限において、局所的なポリアック・ロジャシエヴィチの不等式を証明し、遅延状態を取得する。 私たちの分析は実用的で定量化されたレシピにつながります。
  論文  参考訳（メタデータ） (2021-12-10T13:38:08Z)
• Gradient Descent on Two-layer Nets: Margin Maximization and Simplicity Bias [34.81794649454105]
  実生活ニューラルネットワークは、小さなランダムな値から成り、分類のためのクロスエントロピー損失を訓練する。 最近の結果は、勾配降下がゼロ損失を持つ「マックス・マルジン」解に収束していることを示し、これはおそらくよく一般化される。 現在の論文では、線形分離可能・対称データ上で勾配流を学習した2層ReLUネットに対して、この大域的最適性を確立することができる。
  論文  参考訳（メタデータ） (2021-10-26T17:57:57Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• The loss landscape of deep linear neural networks: a second-order analysis [9.85879905918703]
  正方形損失を伴う深部線形ニューラルネットワークの最適化環境について検討する。 我々は、すべての臨界点の中で、大域最小化点、厳格なサドル点、非制限サドル点を特徴づける。
  論文  参考訳（メタデータ） (2021-07-28T11:33:18Z)
• Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures [100.55816326422773]
  線形分類問題に対する最大マージン分類器の現象について検討する。 その結果、良性的なオーバーフィットが起きる条件を正確に特徴づけます。
  論文  参考訳（メタデータ） (2021-04-28T08:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。