論文の概要: Global Convergence of Frank Wolfe on One Hidden Layer Networks
- arxiv url: http://arxiv.org/abs/2002.02208v1
- Date: Thu, 6 Feb 2020 11:58:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 13:14:13.460768
- Title: Global Convergence of Frank Wolfe on One Hidden Layer Networks
- Title（参考訳）: 隠れ層ネットワーク上のフランク・ウルフのグローバル収束
- Authors: Alexandre d'Aspremont, Mert Pilanci
- Abstract要約: 隠れた1つのニューラルネットワークをトレーニングする際、Frank Wolfeアルゴリズムに対してグローバル収束境界を導出する。
ReLUアクティベーション関数を用い、サンプルデータセット上のトラクタブルプレコンディショニング仮定の下では、解をインクリメンタルに形成する線形最小化オラクルを第2次コーンプログラムとして明示的に解くことができる。
- 参考スコア（独自算出の注目度）: 121.96696298666014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We derive global convergence bounds for the Frank Wolfe algorithm when
training one hidden layer neural networks. When using the ReLU activation
function, and under tractable preconditioning assumptions on the sample data
set, the linear minimization oracle used to incrementally form the solution can
be solved explicitly as a second order cone program. The classical Frank Wolfe
algorithm then converges with rate $O(1/T)$ where $T$ is both the number of
neurons and the number of calls to the oracle.
- Abstract（参考訳）: 隠れ層ニューラルネットワークのトレーニングにおいて,Frank Wolfeアルゴリズムのグローバル収束境界を導出する。
ReLUアクティベーション関数を用い、サンプルデータセット上のトラクタブルプレコンディショニング仮定の下では、解をインクリメンタルに形成する線形最小化オラクルを第2次コーンプログラムとして明示的に解くことができる。
古典的なフランク・ウルフのアルゴリズムは、O(1/T)$で収束し、$T$はニューロンの数とオラクルへの呼び出しの数の両方である。
関連論文リスト
- On the Convergence of Federated Averaging under Partial Participation for Over-parameterized Neural Networks [13.2844023993979]
フェデレートラーニング(FL)は、ローカルデータを共有せずに複数のクライアントから機械学習モデルを協調的に作成するための分散パラダイムである。
本稿では,FedAvgが世界規模で世界規模で収束していることを示す。
論文 参考訳（メタデータ） (2023-10-09T07:56:56Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳（メタデータ） (2022-12-05T14:47:52Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Finite-Sum Optimization: A New Perspective for Convergence to a Global
Solution [22.016345507132808]
ディープニューラルネットワーク(DNN)は多くの機械学習タスクで大きな成功を収めている。
彼らのトレーニングは、一般的に損失面は滑らかではないか、あるいは束縛されているため、難しい。
本稿では,$varepsilon$-(global)最小値への収束を最小化できるアルゴリズムフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-07T21:23:16Z) - Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and
Beyond [19.544213396776268]
我々は,高次条件場に対する汎用的で効果的なCNNベースライン推論である正規化Frank-Wolfeを導入する。
新しいアルゴリズム、新しいアルゴリズム、新しいデータセット、強力なニューラルネットワークの大幅な改善が示されています。
論文 参考訳（メタデータ） (2021-10-27T20:44:47Z) - Efficient Algorithms for Learning Depth-2 Neural Networks with General
ReLU Activations [27.244958998196623]
一般のReLUアクティベーションを用いた未知の深度2フィードフォワードニューラルネットワークを学習するための時間とサンプル効率のアルゴリズムを提案する。
特に、f(x) = amathsfTsigma(WmathsfTx+b)$, ここで$x$はガウス分布から引き出され、$sigma(t) := max(t,0)$はReLU活性化である。
論文 参考訳（メタデータ） (2021-07-21T17:06:03Z) - Scalable Frank-Wolfe on Generalized Self-concordant Functions via Simple Steps [66.88729048402082]
一般化自己一致は、多くの学習問題の目的関数に存在する重要な特性である。
検討対象の領域が一様凸あるいは多面体である場合など,様々な症例に対する収束率の改善を示す。
論文 参考訳（メタデータ） (2021-05-28T15:26:36Z) - Neural Thompson Sampling [94.82847209157494]
本稿では,ニューラルトンプソンサンプリング(Neural Thompson Smpling)と呼ばれる新しいアルゴリズムを提案する。
我々のアルゴリズムの中核は報酬の新たな後部分布であり、その平均はニューラルネットワーク近似器であり、その分散は対応するニューラルネットワークのニューラル・タンジェントな特徴に基づいて構築されている。
論文 参考訳（メタデータ） (2020-10-02T07:44:09Z) - A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization [60.90222082871258]
本稿では,制約集合上の線形最小化オラクル(LMO)を用いて,制約付き自己調和最小化問題のクラスをカラフルに解く方法を示す。
L-smoothの場合、我々の手法のLMO呼び出し数はFrank-Wolfe法とほぼ同じであることを示す。
論文 参考訳（メタデータ） (2020-02-17T15:28:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。