Fugu-MT 論文翻訳(概要): When does gradient descent with logistic loss find interpolating two-layer networks?

論文の概要: When does gradient descent with logistic loss find interpolating two-layer networks?

arxiv url: http://arxiv.org/abs/2012.02409v2
Date: Thu, 14 Jan 2021 04:52:04 GMT
ステータス: 処理完了
システム内更新日: 2021-05-22 20:46:04.676103
Title: When does gradient descent with logistic loss find interpolating two-layer networks?
Title（参考訳）: ロジスティック損失を伴う勾配降下は、いつ補間された2層ネットワークを見つけるのか?
Authors: Niladri S. Chatterji, Philip M. Long, Peter L. Bartlett
Abstract要約: また,初期損失が十分小さい場合,勾配降下がトレーニング損失をゼロにすることを示した。データが一定のクラスタと分離条件を満たし、ネットワークが十分に広い場合、勾配降下の一段階が、最初の結果が適用されるほど損失を十分に減少させることを示す。
参考スコア（独自算出の注目度）: 51.1848572349154
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the training of finite-width two-layer smoothed ReLU networks for binary classification using the logistic loss. We show that gradient descent drives the training loss to zero if the initial loss is small enough. When the data satisfies certain cluster and separation conditions and the network is wide enough, we show that one step of gradient descent reduces the loss sufficiently that the first result applies.
Abstract（参考訳）: ロジスティック損失を用いた二元分類のための有限幅2層平滑reluネットワークの学習について検討した。勾配降下は,初期損失が十分に小さい場合,トレーニング損失をゼロにすることを示した。あるクラスタと分離条件を満たし、ネットワークが十分に広い場合には、勾配降下の一段階が損失を十分に減少させ、最初の結果が適用できることを示す。

関連論文リスト

Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
論文参考訳（メタデータ） (2023-10-29T08:47:48Z)
Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文参考訳（メタデータ） (2022-12-05T14:47:52Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
Convergence of gradient descent for learning linear neural networks [2.209921757303168]
勾配勾配勾配は損失関数の臨界点,すなわち本論文の平方損失に収束することを示す。 3層以上の層の場合、勾配勾配は、ある固定階数の多様体行列上の大域最小値に収束することを示す。
論文参考訳（メタデータ） (2021-08-04T13:10:30Z)
When does gradient descent with logistic loss interpolate using deep networks with smoothed ReLU activations? [51.1848572349154]
固定幅深層ネットワークに適用された勾配勾配がロジスティック損失をゼロにする条件を確立する。解析はSwishやHuberized ReLUといったReLUのスムーズな近似に適用する。
論文参考訳（メタデータ） (2021-02-09T18:04:37Z)
Implicit bias of deep linear networks in the large learning rate phase [15.846533303963229]
大規模学習率体系におけるロジスティック損失を用いた二項分類のための深い線形ネットワークの暗黙バイアス効果を特徴付ける。データの分離条件により、勾配降下反復はカタパルト相においてより平坦な最小値に収束すると主張する。
論文参考訳（メタデータ） (2020-11-25T06:50:30Z)
Regularizing Semi-supervised Graph Convolutional Networks with a Manifold Smoothness Loss [12.948899990826426]
グラフ構造に関して定義された教師なし多様体の滑らかさ損失を提案し、これは正規化として損失関数に追加することができる。我々は,多層パーセプトロンおよび既存のグラフネットワークの実験を行い,提案した損失を追加することにより,連続的に性能を向上させることを示す。
論文参考訳（メタデータ） (2020-02-11T08:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。