論文の概要: Blessing of Nonconvexity in Deep Linear Models: Depth Flattens the Optimization Landscape Around the True Solution

• arxiv url: http://arxiv.org/abs/2207.07612v1
• Date: Fri, 15 Jul 2022 17:11:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-18 13:23:34.472414
• Title: Blessing of Nonconvexity in Deep Linear Models: Depth Flattens the Optimization Landscape Around the True Solution
• Title（参考訳）: 深部線形モデルにおける非凸性の祝福:真解周辺の最適化景観の深さ平坦化
• Authors: Jianhao Ma, Salar Fattahi
• Abstract要約: 本研究は回帰の最適化ランドスケープに対する深さの影響を特徴づける。 非神経性にもかかわらず、より深いモデルはより望ましい最適化を持つことを示す。
• 参考スコア（独自算出の注目度）: 4.7464518249313805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work characterizes the effect of depth on the optimization landscape of linear regression, showing that, despite their nonconvexity, deeper models have more desirable optimization landscape. We consider a robust and over-parameterized setting, where a subset of measurements are grossly corrupted with noise and the true linear model is captured via an $N$-layer linear neural network. On the negative side, we show that this problem \textit{does not} have a benign landscape: given any $N\geq 1$, with constant probability, there exists a solution corresponding to the ground truth that is neither local nor global minimum. However, on the positive side, we prove that, for any $N$-layer model with $N\geq 2$, a simple sub-gradient method becomes oblivious to such ``problematic'' solutions; instead, it converges to a balanced solution that is not only close to the ground truth but also enjoys a flat local landscape, thereby eschewing the need for "early stopping". Lastly, we empirically verify that the desirable optimization landscape of deeper models extends to other robust learning tasks, including deep matrix recovery and deep ReLU networks with $\ell_1$-loss.
• Abstract（参考訳）: この研究は、線形回帰の最適化ランドスケープに対する深さの影響を特徴づけ、その非凸性にもかかわらず、より深いモデルはより望ましい最適化ランドスケープを持つことを示した。 実測値のサブセットがノイズでひどく破損し、真の線形モデルは$N$層線形ニューラルネットワークによって取得される、ロバストで過度にパラメータ化された設定を考える。 負の面から、この問題 \textit{does not} が良心的な風景を持つことが示される: どんな$N\geq 1$でも一定の確率で、局所的でも大域的最小値でもない基底真理に対応する解が存在する。 しかし、正の面では、n\geq 2$ の任意の$n$-layerモデルに対して、このような ``problematic''' 解には単純なサブグレードのメソッドが従わなくなることを証明します。 最後に、より深いモデルの望ましい最適化環境が、深い行列回復や$\ell_1$-lossの深いReLUネットワークを含む、他の堅牢な学習タスクに拡張されることを実証的に検証する。

関連論文リスト

• Deep Loss Convexification for Learning Iterative Models [11.36644967267829]
  点雲登録のための反復的最近点(ICP)のような反復的手法は、しばしば悪い局所最適性に悩まされる。 我々は,各地真実の周囲に凸景観を形成する学習を提案する。
  論文  参考訳（メタデータ） (2024-11-16T01:13:04Z)
• Understanding the training of infinitely deep and wide ResNets with Conditional Optimal Transport [26.47265060394168]
  深部ニューラルネットワークの勾配流は遠距離で任意に収束することを示す。 これは空間における有限幅の勾配距離の理論に依存する。
  論文  参考訳（メタデータ） (2024-03-19T16:34:31Z)
• Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
  深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:31:22Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Optimal learning rate schedules in high-dimensional non-convex optimization problems [14.058580956992051]
  学習率のスケジュールは、スピードアップと最適化の改善にユビキタスに使用されている。 本稿では,この設定におけるニューラルスケジューリングの役割に関する最初の分析研究について述べる。
  論文  参考訳（メタデータ） (2022-02-09T15:15:39Z)
• Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection [71.9765117768556]
  本研究では,高次元線形モデルの下での文脈的帯域問題について考察する。 この設定は、パーソナライズされたレコメンデーション、オンライン広告、パーソナライズされた医療など、不可欠な応用を見出す。 本稿では,最適部分集合選択法を用いて2重成長エポックを推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-04T04:10:39Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。