論文の概要: Gradient Descent with Large Step Size Restores Symmetry in Deep Linear Networks with Multi-Pathway

• arxiv url: http://arxiv.org/abs/2606.05219v1
• Date: Fri, 29 May 2026 13:32:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.25132
• Title: Gradient Descent with Large Step Size Restores Symmetry in Deep Linear Networks with Multi-Pathway
• Title（参考訳）: 複数経路を有するディープリニアネットワークにおける大きなステップサイズ復元対称性を持つグラディエントDescent
• Abstract要約: ステップサイズが大きい個別のグラディエントDescentが、異なるストーリーを語ることを示す。 単一経路の解がシャープな最小値であることを証明する一方、経路をまたいだ信号の分散はシャープさを減少させる。
• 参考スコア（独自算出の注目度）: 7.519872646378835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent analyses of multi-pathway Deep Linear Networks use Gradient Flow to predict a "winner-takes-all" specialization in which path symmetry breaks and each feature concentrates in a single pathway. In this work, we show that discrete Gradient Descent (GD) with a large step size tells a different story. We prove that single-path solutions are sharp minima, whereas distributing signals across pathways reduces sharpness by a factor that decreases with both the number of pathways and depth. Consequently, while early training reproduces the depth-driven symmetry breaking predicted by GF, oscillations at the Edge of Stability subsequently override this tendency and drive the network into a re-balancing phase, where signals redistribute across pathways. Together, these results clarify how depth shapes pathway competition and explain why large-step GD favors shared representations rather than persistent single-pathway dominance.
• Abstract（参考訳）: 近年の多経路ディープ線形ネットワークの解析では,経路対称性が損なわれ,各特徴が単一経路に集中する「全ての勝者」の特殊化を予測するためにグラディエント・フローを用いている。 本研究では,大きなステップサイズを持つ離散的なグラディエント・ディフレッシュ(GD)が,異なるストーリーを語ることを示す。 単一経路の解がシャープな最小値であることを証明する一方、経路をまたいだ信号の分散は、経路数と深さの両方で減少する要因によってシャープさを減少させる。 その結果、早期の訓練ではGFによって予測される深さ駆動対称性の破れが再現されるが、安定の端での振動はこの傾向を覆し、信号が経路をまたいで再分散する再バランスフェーズへとネットワークを駆動する。 これらの結果から, 深度が経路の競合をどう形成するかを明らかにするとともに, 大ステップのGDが単一経路支配よりも共有表現を優先する理由を説明する。

関連論文リスト

• When Both Layers Learn: Training Dynamics of Representing Linear Models via ReLU Networks [22.81761236732655]
  線形対象関数に適合する1層ReLUネットワークの両層を協調的にトレーニングするための勾配勾配ダイナミクスについて検討した。 本分析では, 隠れ重みが植え付け方向と漸進的に一致し, 出力重みが正しい符号パターンを維持できるアライメントフェーズを3つのフェーズで追跡する。 我々は,全軌道に沿って保持される新しい一様濃度結果を確立し,次々に最適な試料の複雑性を得るのに不可欠である。
  論文  参考訳（メタデータ） (2026-06-03T05:44:30Z)
• Landscaping Linear Mode Connectivity [76.39694196535996]
  線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。 ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
  論文  参考訳（メタデータ） (2024-06-24T03:53:30Z)
• Deep Learning without Weight Symmetry [2.3462002656701966]
  ニューラルネットワークをトレーニングするための基礎的なアルゴリズムであるバックプロパゲーションは、現代のディープラーニングにおいて優位である。 バックプロパゲーションは、クレジットを割り当てる勾配信号を正確に伝播するためにフィードフォワードとフィードバックウェイトの間の正確な対称性に依存する。 プロダクトフィードバックアライメント (Product Feedback Alignment, PFA) アルゴリズムを導入し, 脳内の長年にわたる信用代入の問題を解決する。
  論文  参考訳（メタデータ） (2024-05-31T03:11:19Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Noise Balance and Stationary Distribution of Stochastic Gradient Descent [10.621129623557884]
  損失関数が再スケーリングパラメータ対称性を含む場合, SGD のミニバッチノイズは, 雑音平衡解に対する解を正則化することを示す。 単純な拡散過程とSGD力学の違いは対称性が存在するときに最も重要であるため、この理論は損失関数対称性がSGDの働きの本質的なプローブとなることを示唆している。 この結果を用いて,任意の深さと幅を持つ対角線ネットワークにおける勾配流の定常分布を導出する。
  論文  参考訳（メタデータ） (2023-08-13T03:13:03Z)
• One at a Time: Progressive Multi-step Volumetric Probability Learning for Reliable 3D Scene Perception [59.37727312705997]
  本稿では,複雑な3次元ボリューム表現学習を生成段階の列に分解することを提案する。 強力な生成拡散モデルにより達成された最近の進歩を考えると、我々はVPDと呼ばれる多段階学習フレームワークを導入する。 SSCタスクでは、Semantic KITTIデータセット上でLiDARベースのメソッドを初めて越える作業として際立っている。
  論文  参考訳（メタデータ） (2023-06-22T05:55:53Z)
• Can Forward Gradient Match Backpropagation? [2.875726839945885]
  フォワードグラディエントはニューラルネットワークトレーニングに有効であることが示されている。 我々は、小さな局所的な補助ネットワークから得られるフィードバックなど、より有望な方向の勾配推定を強く偏り付けることを提案する。 局所損失から得られた勾配を候補方向として用いた場合,前方勾配法におけるランダムノイズを大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2023-06-12T08:53:41Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Implicit Sparse Regularization: The Impact of Depth and Early Stopping [35.4113861165802]
  勾配降下をスパースモデルに収束させるためには,早期停止が不可欠であることを示す。 我々は, 深さと早期停止の影響を特徴付けるとともに, 一般深度パラメータNに対して, 早期停止による勾配降下が極小最適スパース回復を達成することを示す。
  論文  参考訳（メタデータ） (2021-08-12T07:43:29Z)
• Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
  線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
  論文  参考訳（メタデータ） (2020-11-05T14:57:16Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。