論文の概要: Learning Orthogonal Multi-Index Models Beyond Small Initialization: Incremental Learning, Competitive Dynamics and Symmetry

• arxiv url: http://arxiv.org/abs/2609.10879v1
• Date: Wed, 09 Sep 2026 22:35:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.157689
• Title: Learning Orthogonal Multi-Index Models Beyond Small Initialization: Incremental Learning, Competitive Dynamics and Symmetry
• Title（参考訳）: 小さな初期化を超えた直交的多指標モデルの学習:インクリメンタルラーニング、競合ダイナミクス、対称性
• Abstract要約: 最近の研究で、シングルインデックスモデルとマルチインデックスモデルに基づいて訓練された浅層ネットワークにおける漸進的な学習が特定されている。 対称性に基づく有限幅近似を,無限幅の極限と直接比較するのではなく,対称性付きネットワークを用いて導入する。
• 参考スコア（独自算出の注目度）: 52.75288960194919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has identified incremental learning in shallow networks trained on single-index and multi-index models. However, existing analyses often rely on simplifying settings, such as small initialization, correlation loss, or layer-wise training. These choices reduce neuron interactions and leave some feature learning dynamics under standard initialization unexplored. We study training dynamics for polynomial-width two-layer networks learning orthogonal multi-index targets under standard initialization using polynomially many samples. We first prove that incremental learning still occurs: the loss decreases sequentially according to the Hermite expansion of the target, with lower-order components learned before higher-order components recover the individual target directions. In this standard initialization regime, training also shows a competitive reallocation of parameter mass: after the total mass fits the target mean and stabilizes, mass shifts into the target subspace and then concentrates on aligned neurons. Our theoretical analysis uses slightly modified gradient flow, while vanilla gradient descent empirically exhibits the same qualitative dynamics. Technically, we introduce a symmetry-based finite-width approximation via symmetrized networks, rather than comparing directly with an infinite-width limit. This yields better control of approximation errors and may be of independent interest.
• Abstract（参考訳）: 最近の研究で、シングルインデックスモデルとマルチインデックスモデルに基づいて訓練された浅層ネットワークにおける漸進的な学習が特定されている。 しかし、既存の分析は、小さな初期化、相関損失、レイヤーワイズトレーニングなどの設定を単純化することに依存することが多い。 これらの選択はニューロンの相互作用を減らし、標準的な初期化下でのいくつかの特徴学習力学を未探索のまま残す。 標準初期化の下で直交多次元目標を学習する多項式幅2層ネットワークのトレーニングダイナミクスを,多項式の多くを用いて検討した。 目標のHermite拡張に従って損失が連続的に減少し、上位のコンポーネントが個々の目標方向を回復する前に、下位のコンポーネントが学習される。 この標準初期化法では、トレーニングはパラメータ質量の競合的再配置も示しており、全質量が目標平均に適合し、安定化した後、ターゲット部分空間に質量移動し、整列したニューロンに集中する。 我々の理論解析はわずかに変化した勾配流を使用し、バニラ勾配降下は経験的に同じ定性的ダイナミクスを示す。 技術的には、無限幅の極限と直接比較するのではなく、対称性に基づく有限幅近似を導入する。 これにより近似誤差の制御がより良くなり、独立した関心を持つ可能性がある。

関連論文リスト

• Understanding Incremental Learning with Closed-form Solution to Gradient Flow on Overparamerterized Matrix Factorization [44.278609916888065]
  勾配流は、時間とともに等級を減少させながら、その特異値を逐次学習することで、ターゲット行列を学習する。 対象行列の異なる成分の学習に対応する動的要素間の時間スケールの分離から漸進的学習が出現することを示す。
  論文  参考訳（メタデータ） (2025-08-28T01:36:42Z)
• The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions [51.68215326304272]
  たとえ小さな摂動であっても、同じ訓練軌跡を確実に引き起こすことで、トレーニング時間とともに急速に減少する効果が発散することを示します。 この結果から,ニューラルネットワークのトレーニング安定性,微調整,モデルマージ,モデルアンサンブルの多様性の実践的意味が示唆された。
  論文  参考訳（メタデータ） (2025-06-16T08:35:16Z)
• Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs [5.7166378791349315]
  我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。 また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
  論文  参考訳（メタデータ） (2023-06-10T16:36:22Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
  大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。 この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
  論文  参考訳（メタデータ） (2021-10-29T07:53:35Z)
• On the Explicit Role of Initialization on the Convergence and Implicit Bias of Overparametrized Linear Networks [1.0323063834827415]
  勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。 正方形損失はその最適値に指数関数的に収束することを示す。 我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
  論文  参考訳（メタデータ） (2021-05-13T15:13:51Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。