論文の概要: Across the Loss Landscape with Progressive Growth

• arxiv url: http://arxiv.org/abs/2608.24568v1
• Date: Tue, 25 Aug 2026 13:50:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:35.008034
• Title: Across the Loss Landscape with Progressive Growth
• Title（参考訳）: 成長が進む失われた景観全体
• Abstract要約: 成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。 制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。 プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
• 参考スコア（独自算出の注目度）: 51.366966420881646
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks generalize well despite their highly nonconvex, overparameterized loss landscapes, a phenomenon often associated with the geometry of the minima found by stochastic optimization. We study how incremental grow-and-optimize strategies bias training toward flatter regions by viewing growth as progressive constraint relaxation. Starting from a low-dimensional submodel, we iteratively expand the trainable parameters by unlocking nested random subspaces while freezing the orthogonal complement at the network initialization, re-optimizing after each expansion until the full architecture is reached. Under standard local regularity conditions around non-degenerate minima, we prove that local sublevel sets are well approximated by ellipsoids and that basin accessibility under frozen constraints can be characterized by an explicit effective curvature in the frozen directions. This leads to an explanation of the bias: progressive growth increases the relative weight of wide basins and suppresses sharp ones through a volume effect induced by the frozen constraints. We empirically validate these predictions in controlled toy landscapes and in a realistic ResNet/CIFAR-100 setting and confirm that although progressive subspace growth reliably produces flatter solutions, curvature reductions do not universally translate into improved test performance, highlighting subtleties in the flatness-generalization connection. The code is available at https://github.com/p0lcAi/Across-the-Loss-Landscape.
• Abstract（参考訳）: ディープニューラルネットワークは、非常に非凸で過度にパラメータ化された損失ランドスケープにもかかわらず、しばしば確率的最適化によって発見されたミニマの幾何学に関連した現象である。 本研究では、成長を進行的制約緩和と見なして、より平坦な領域に対する戦略バイアストレーニングを段階的に増加・最適化する方法について検討する。 低次元のサブモデルから始めて、ネストしたランダムな部分空間をアンロックし、ネットワーク初期化時に直交補空間を凍結し、フルアーキテクチャに到達するまで各拡張後に再最適化することで、トレーニング可能なパラメータを反復的に拡張する。 非退化ミニマに関する標準的な局所正規性条件の下では、局所的な部分レベル集合は楕円体によって十分に近似され、凍った制約の下での盆地のアクセシビリティは凍結方向の明示的な有効曲率によって特徴づけられることが証明される。 進行成長は広い盆地の相対的な重みを増大させ、凍った制約によって引き起こされる体積効果によって鋭いものを抑制する。 制御された玩具ランドスケープおよび現実的なResNet/CIFAR-100設定においてこれらの予測を実証的に検証し、進行的部分空間成長が確実にフラットな解を生成するが、曲率低減は普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調していることを確認した。 コードはhttps://github.com/p0lcAi/Across-the-Loss-Landscapeで公開されている。

関連論文リスト

• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• When Both Layers Learn: Training Dynamics of Representing Linear Models via ReLU Networks [22.81761236732655]
  線形対象関数に適合する1層ReLUネットワークの両層を協調的にトレーニングするための勾配勾配ダイナミクスについて検討した。 本分析では, 隠れ重みが植え付け方向と漸進的に一致し, 出力重みが正しい符号パターンを維持できるアライメントフェーズを3つのフェーズで追跡する。 我々は,全軌道に沿って保持される新しい一様濃度結果を確立し,次々に最適な試料の複雑性を得るのに不可欠である。
  論文  参考訳（メタデータ） (2026-06-03T05:44:30Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Non-Singularity of the Gradient Descent map for Neural Networks with Piecewise Analytic Activations [53.348574336527854]
  重みとバイアスの空間上の関数としてのニューラルネットワークマップについて検討する。 我々は、現実的なニューラルネットワークアーキテクチャの損失ランドスケープにおける勾配降下(GD)マップの非特異性を初めて証明した。
  論文  参考訳（メタデータ） (2025-10-28T14:34:33Z)
• Description of the Training Process of Neural Networks via Ergodic Theorem : Ghost nodes [3.637162892228131]
  本稿では、訓練勾配降下(SGD)による深層ニューラルネットワークの理解と加速のための統一的な枠組みを提案する。 我々は,安定剤に対する真の収束を識別する,最も大きなリャプノフ指数の実用診断,実行推定を導入する。 本稿では,補助的なゴースト出力ノードを付加した標準分類器のゴーストカテゴリ拡張を提案する。
  論文  参考訳（メタデータ） (2025-07-01T17:54:35Z)
• Convergence of Adam in Deep ReLU Networks via Directional Complexity and Kakeya Bounds [49.1574468325115]
  Adamのような一階適応最適化手法は、現代のディープニューラルネットワークをトレーニングするためのデフォルトの選択肢である。 我々は,領域横断の制限を段階的に強化する多層改質フレームワークを開発した。 有効次元において,領域交差の数が指数的からほぼ直線的に崩壊することが証明された。
  論文  参考訳（メタデータ） (2025-05-21T01:34:16Z)
• Curvature in the Looking-Glass: Optimal Methods to Exploit Curvature of Expectation in the Loss Landscape [41.94295877935867]
  我々は,多くの整列線形単位を持つアーキテクチャにおいて,期待される損失変化の曲率がどのように現れるかを理解するための新しい概念的枠組みを提案する。 我々の導出は、これらの不連続性がどのようにガラスのような構造を形成するかを示しており、これは強いがランダムな原子配列の微視的な領域を含む非晶質固体と類似している。 ガラスとヘッセンの項とネステロフ加速勾配更新で可能な特定の精度特性を組み込んだ準ニュートンステップの最適修正を導出する。
  論文  参考訳（メタデータ） (2024-11-25T20:32:57Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Implicit Sparse Regularization: The Impact of Depth and Early Stopping [35.4113861165802]
  勾配降下をスパースモデルに収束させるためには,早期停止が不可欠であることを示す。 我々は, 深さと早期停止の影響を特徴付けるとともに, 一般深度パラメータNに対して, 早期停止による勾配降下が極小最適スパース回復を達成することを示す。
  論文  参考訳（メタデータ） (2021-08-12T07:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。