論文の概要: Benign Loss Landscapes Can Coexist with Worst-Case Hardness

• arxiv url: http://arxiv.org/abs/2609.13057v1
• Date: Fri, 11 Sep 2026 16:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.818325
• Title: Benign Loss Landscapes Can Coexist with Worst-Case Hardness
• Title（参考訳）: 良心の失われた景観は、最悪のハードネスと共存できる
• Abstract要約: 本研究では,深い線形ネットワークとタッカー分解を一般化したモデルクラスであるツリーツリーネットワーク(TTN)について検討する。 任意の読み取りオンス式を埋め込んで、時間内に学習できないニューラルサイズターゲットを含むことを示す。 TTNの学習困難は高次サドル点から生じうるが,これはランク不足によるものである。
• 参考スコア（独自算出の注目度）: 8.836006119979771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are expressive enough to contain worst-case targets that can be evaluated in polynomial time but cannot be learned in polynomial time by gradient descent. For practical tasks they nonetheless learn well, raising the question of what non-generic structure of real-world targets enables this. Existing surrogate models cannot pose this question because they either lack hard-to-learn targets entirely (deep linear networks) or cannot evaluate such targets efficiently (kernel methods, infinite-width limits). We study tree tensor networks (TTNs), a model class that generalizes deep linear networks and Tucker decompositions. We show they embed arbitrary read-once Boolean formulas, and thus contain polynomial-size targets that cannot be learned by gradient descent in polynomial time under the same mechanism as neural networks. Despite this, we prove that their loss landscapes are conditionally benign for every realizable target: every local minimum that is minimum-norm is global. Thus, surprisingly, bad local minima are not what distinguishes between typical and worst-case problems in TTNs. Instead, learning difficulty in TTNs can arise from high-order degenerate saddle points, which we show are caused by rank-deficiency. This is explored through a case study of the parity function, illustrating the potential for TTNs to relate landscape geometry to computational hardness.
• Abstract（参考訳）: ディープニューラルネットワークは、多項式時間で評価できるが、勾配降下によって多項式時間では学習できない最悪のターゲットを含むのに十分な表現である。 現実的なタスクでは、彼らはよく学習し、現実のターゲットの非ジェネリックな構造がこれを可能にするのかという疑問を提起する。 既存のサロゲートモデルは、完全学習対象(ディープ線形ネットワーク)を欠いているか、あるいはそのような目標(カーネル法、無限幅制限)を効率的に評価できないため、この疑問を提起することはできない。 本研究では,深い線形ネットワークとタッカー分解を一般化したモデルクラスであるツリーテンソルネットワーク(TTN)について検討する。 任意の読み出しオンスブール式を埋め込み, ニューラルネットワークと同じ機構の下で多項式時間における勾配降下によって学習できない多項式サイズの目標を含むことを示す。 それにもかかわらず、それらの損失ランドスケープはすべての実現可能なターゲットに対して条件付き良性であることが証明されている: 最小ノルムであるすべての局所最小は、大域的である。 したがって、驚くべきことに、ローカルの悪いミニマは、TTNの典型的な問題と最悪の問題とを区別するものではない。 代わりに、TTNの学習困難は高次退化サドル点から生じうる。 これはパリティ関数のケーススタディを通じて検討され、TTNがランドスケープ幾何学と計算硬度を関連付ける可能性を示している。

関連論文リスト

• Global Minimizers of $\ell^p$-Regularized Objectives Yield the Sparsest ReLU Neural Networks [19.53343888629072]
  我々は,大域的最小値が最短の単一隠れニューロンLUネットワークに対応することが保証される,連続的かつほぼ全ての学習目標を提案する。 我々の一般化の下では、大域最小化器はスパース・ネットワーク・スト・ソリューションと正確に一致することを証明している。
  論文  参考訳（メタデータ） (2025-05-27T21:46:27Z)
• When Expressivity Meets Trainability: Fewer than $n$ Neurons Can Work [59.29606307518154]
  幅が$m geq 2n/d$($d$は入力次元)である限り、その表現性は強く、すなわち、訓練損失がゼロの少なくとも1つの大域最小化器が存在することを示す。 また、実現可能な領域がよい局所領域であるような制約付き最適化の定式化も検討し、すべてのKKT点がほぼ大域最小値であることを示す。
  論文  参考訳（メタデータ） (2022-10-21T14:41:26Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Identifying good directions to escape the NTK regime and efficiently learn low-degree plus sparse polynomials [52.11466135206223]
  広帯域2層ニューラルネットワークはターゲット関数に適合するためにTangent Kernel(NTK)とQuadNTKを併用可能であることを示す。 これにより、終端収束が得られ、NTKとQuadNTKの双方に対して証明可能なサンプル改善が保証される。
  論文  参考訳（メタデータ） (2022-06-08T06:06:51Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• A Geometric Analysis of Neural Collapse with Unconstrained Features [40.66585948844492]
  Neural;Collapse$の最初のグローバル最適化ランドスケープ分析を提供します。 この現象は、トレーニングの終末期におけるニューラルネットワークのラスト層分類器と特徴に現れる。
  論文  参考訳（メタデータ） (2021-05-06T00:00:50Z)
• Kernelized Classification in Deep Networks [49.47339560731506]
  本稿では,ディープネットワークのためのカーネル分類層を提案する。 訓練中のSoftmaxクロスエントロピー損失関数のカーネルトリックを用いて非線形分類層を提唱する。 提案する非線形分類層は,複数のデータセットやタスクに対して有用であることを示す。
  論文  参考訳（メタデータ） (2020-12-08T21:43:19Z)
• Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
  ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。 2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
  論文  参考訳（メタデータ） (2019-12-31T22:31:11Z)
• Revisiting Landscape Analysis in Deep Neural Networks: Eliminating Decreasing Paths to Infinity [24.170237935033647]
  損失関数が減少する無限小に至る経路が存在する場合、降下アルゴリズムは無限小に分岐することができる。 非線形ニューラルネットワークには、悪いローカルミンが無く、無限大への減少経路が同時に達成できないという設定が1つ存在するかどうかは不明だ。
  論文  参考訳（メタデータ） (2019-12-31T18:17:34Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。