論文の概要: How Can Deep Neural Networks Fail Even With Global Optima?

• arxiv url: http://arxiv.org/abs/2407.16872v1
• Date: Tue, 23 Jul 2024 22:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 15:22:45.451348
• Title: How Can Deep Neural Networks Fail Even With Global Optima?
• Title（参考訳）: ディープニューラルネットワークは、グローバルオプティマイマでも機能しないのか?
• Authors: Qingguang Guan,
• Abstract要約: 浅いニューラルネットワークの表現力は、簡単なトリックを使って、どんな深さのネットワークにも拡張する。 我々は、グローバルな最適性があるにもかかわらず、分類や関数近似の問題で未だにうまく機能しない、非常に過度に適合するディープニューラルネットワークを構築している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fully connected deep neural networks are successfully applied to classification and function approximation problems. By minimizing the cost function, i.e., finding the proper weights and biases, models can be built for accurate predictions. The ideal optimization process can achieve global optima. However, do global optima always perform well? If not, how bad can it be? In this work, we aim to: 1) extend the expressive power of shallow neural networks to networks of any depth using a simple trick, 2) construct extremely overfitting deep neural networks that, despite having global optima, still fail to perform well on classification and function approximation problems. Different types of activation functions are considered, including ReLU, Parametric ReLU, and Sigmoid functions. Extensive theoretical analysis has been conducted, ranging from one-dimensional models to models of any dimensionality. Numerical results illustrate our theoretical findings.
• Abstract（参考訳）: 完全に接続されたディープニューラルネットワークは、分類と関数近似問題にうまく適用されている。 コスト関数、すなわち適切な重みとバイアスを見つけることで、正確な予測のためにモデルを構築することができる。 理想的な最適化プロセスは、大域的最適を達成することができる。 しかし、グローバルオプティマは常によく機能するのか? そうでなければ、どのくらい悪いのか? この研究で、私たちは次のことを目標にしています。 1) 浅いニューラルネットワークの表現力を, 簡単な手法を用いて任意の深さのネットワークに拡張する。 2) 極端に過度に適合する深層ニューラルネットワークの構築は, グローバルな最適性にもかかわらず, 分類や関数近似の問題ではまだうまく機能しない。 ReLU、Parametric ReLU、Sigmoid関数など、さまざまなタイプのアクティベーション関数が検討されている。 1次元モデルから任意の次元のモデルまで、広範囲な理論解析が行われてきた。 数値的な結果は、我々の理論的な結果を示している。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes [7.433327915285969]
  我々は,ロジスティック損失に基づいて学習した広帯域および深部ReLUニューラルネットワーク分類器の普遍的整合性を証明する。 また、ニューラルネットワークに基づく分類器が最小収束率を達成できる確率尺度のクラスに対して十分な条件を与える。
  論文  参考訳（メタデータ） (2024-01-08T23:54:46Z)
• The limitation of neural nets for approximation and optimization [0.0]
  最適化問題における目的関数の近似と最小化のために,ニューラルネットワークを代理モデルとして用いることに関心がある。 本研究は、一般的な非線形最適化テスト問題の目的関数を近似する最適なアクティベーション関数を決定することから始まる。
  論文  参考訳（メタデータ） (2023-11-21T00:21:15Z)
• Does a sparse ReLU network training problem always admit an optimum? [0.0]
  最適解の存在は、特にスパースReLUニューラルネットワークの文脈において、必ずしも保証されないことを示す。 特に,特定の疎度パターンを持つディープネットワークにおける最適化問題は,必ずしも最適パラメータを持つとは限らないことを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:01:50Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
  大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。 我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
  論文  参考訳（メタデータ） (2022-06-09T15:35:22Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
  我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。 その結果、ニューラルネットワークの収束挙動を利用することができる。 このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
  論文  参考訳（メタデータ） (2020-10-25T17:10:22Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)
• Generative Adversarial Imitation Learning with Neural Networks: Global Optimality and Convergence Rate [122.73276299136568]
  ジェネレーティブポリシー模倣学習(GAIL)は、特にニューラルネットワークと組み合わせた場合、実際に非常に成功している。 実験的な成功にもかかわらず、GAILとニューラルネットワークがグローバルな最適解に収束するかどうかは不明だ。
  論文  参考訳（メタデータ） (2020-03-08T03:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。