Fugu-MT 論文翻訳(概要): Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 1: Theory

論文の概要: Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 1: Theory

arxiv url: http://arxiv.org/abs/2002.04763v2
Date: Wed, 17 Jun 2020 01:57:24 GMT
ステータス: 処理完了
システム内更新日: 2023-01-01 19:11:26.230560
Title: Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 1: Theory
Title（参考訳）: 単層reluネットワークのグローバルロスランドスケープの理解, その1:理論
Authors: Bo Liu
Abstract要約: 一層ReLUネットワークの場合、すべての微分可能な局所ミニマが大域的に微分可能な領域内に存在することが証明される。これらの局所的なミニマは、データ間の相互作用、隠れたニューロンの活性化パターン、ネットワークサイズに応じて、孤立点または連続した超平面となりうることを示す。
参考スコア（独自算出の注目度）: 4.976129960952446
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: For one-hidden-layer ReLU networks, we prove that all differentiable local minima are global inside differentiable regions. We give the locations and losses of differentiable local minima, and show that these local minima can be isolated points or continuous hyperplanes, depending on an interplay between data, activation pattern of hidden neurons and network size. Furthermore, we give necessary and sufficient conditions for the existence of saddle points as well as non-differentiable local minima, and their locations if they exist.
Abstract（参考訳）: 単層reluネットワークでは、すべての可微分極小が可微分領域内でグローバルであることが証明される。ローカルミニマの位置と損失は,データ間の相互作用,隠されたニューロンの活性化パターン,ネットワークサイズに応じて,これらの局所ミニマが孤立点や連続超平面となりうることを示す。さらに, サドル点の存在と, 非微分可能な局所極小点の存在, それらの位置について, 必要かつ十分な条件を与える。

関連論文リスト

Loss Landscape of Shallow ReLU-like Neural Networks: Stationary Points, Saddle Escaping, and Network Embedding [1.4513150969598634]
経験的二乗損失を学習したReLU様活性化関数を持つ一層ニューラルネットワークの損失状況について検討した。アクティベーション関数は微分不可能であるため、固定点を完全に特徴づける方法は今のところ不明である。定常点が一階条件で定義される「エスケープニューロン」を含まない場合、局所最小値でなければならないことを示す。
論文参考訳（メタデータ） (2024-02-08T12:30:29Z)
Geometry and Local Recovery of Global Minima of Two-layer Neural Networks at Overparameterization [4.418361486640713]
大域ミニマ付近の2層ニューラルネットワークにおける損失景観の幾何学について検討する。一般化誤差ゼロの大域的ミニマが、サンプルサイズが大きくなるにつれて、他の大域的ミニマと幾何的に分離されるかを示す。
論文参考訳（メタデータ） (2023-09-01T14:53:51Z)
Mildly Overparameterized ReLU Networks Have a Favorable Loss Landscape [8.425040193238777]
その結果,ほとんどのアクティベーションパターンは,局所最小値が低いパラメータ領域に対応していることがわかった。 1次元の入力データに対して、ネットワークによって実現可能なほとんどの活性化領域は、高次元の大域的ミニマと悪い局所的ミニマを含んでいないことを示す。
論文参考訳（メタデータ） (2023-05-31T02:49:13Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
On the Omnipresence of Spurious Local Minima in Certain Neural Network Training Problems [0.0]
本研究では,1次元実出力を持つ深層ニューラルネットワークにおける学習課題の損失状況について検討する。このような問題は、アフィンでないすべての対象函数に対して、刺激的(すなわち、大域的最適ではない)局所ミニマの連続体を持つことが示されている。
論文参考訳（メタデータ） (2022-02-23T14:41:54Z)
Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 2: Experiments and Analysis [4.976129960952446]
まず、1次元ガウスデータの局所最小値の確率と、それが重量空間全体においてどのように変化するかを分析する。次に、真の局所ミニマの存在を判断するための線形プログラミングに基づくアプローチを設計、実装する。隠れた神経細胞がサンプルによって活性化されると、ほとんどどこにでも重量空間で識別可能な局所性ミニマが存在しないことがわかりました。
論文参考訳（メタデータ） (2020-06-15T10:50:47Z)
LSM: Learning Subspace Minimization for Low-level Vision [78.27774638569218]
我々は、正規化項を学習可能な部分空間制約に置き換え、データ項をドメイン知識を活用するために保存する。この学習サブスペース最小化(LSM)フレームワークは、多くの低レベル視覚タスクのネットワーク構造とパラメータを統一する。インタラクティブな画像セグメンテーション、ビデオセグメンテーション、ステレオマッチング、オプティカルフローを含む4つの低レベルタスクについてLSMフレームワークを実証し、様々なデータセット上でネットワークを検証した。
論文参考訳（メタデータ） (2020-04-20T10:49:38Z)
Piecewise linear activations substantially shape the loss surfaces of neural networks [95.73230376153872]
本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
論文参考訳（メタデータ） (2020-03-27T04:59:34Z)
LRC-Net: Learning Discriminative Features on Point Clouds by Encoding Local Region Contexts [65.79931333193016]
本稿では,LRC-Net(Local-Region-Context Network)を提案する。 LRC-Netは、局所領域内および周辺領域間の微粒なコンテキストを同時に符号化する。その結果, LRC-Netは形状分類や形状分割の応用において最先端の手法と競合することがわかった。
論文参考訳（メタデータ） (2020-03-18T14:34:08Z)
The Devil is in the Channels: Mutual-Channel Loss for Fine-Grained Image Classification [67.79883226015824]
きめ細かい画像分類を解く鍵は、微妙な視覚的特徴に対応する識別領域と局所領域を見つけることである。本稿では,複雑なネットワーク設計や学習機構を必要とせずに,微妙な詳細を育むことができることを示す。提案した損失関数は、相互チャネル損失(MC-Loss)と呼ばれ、2つのチャネル固有成分から構成される。
論文参考訳（メタデータ） (2020-02-11T09:12:45Z)
Dense Residual Network: Enhancing Global Dense Feature Flow for Character Recognition [75.4027660840568]
本稿では,すべての畳み込み層から階層的特徴をフルに活用することにより,局所的・大域的特徴フローを改善する方法について検討する。技術的には、テキスト認識のための効率的で効果的なCNNフレームワークであるFDRN(Fast Dense Residual Network)を提案する。
論文参考訳（メタデータ） (2020-01-23T06:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。