論文の概要: Sliding Networks: A Family of Residual Structures Preserving Feature Learning and Feature Diversity

• arxiv url: http://arxiv.org/abs/2610.33840v1
• Date: Sat, 24 Oct 2026 18:22:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.45769
• Title: Sliding Networks: A Family of Residual Structures Preserving Feature Learning and Feature Diversity
• Title（参考訳）: スライディングネットワーク:特徴学習と特徴多様性を保持する残留構造の家族
• Abstract要約: 既存の深度スケーリングアプローチでは、局所的な極大エンフェアラーニングの維持と、残留ストリームにおけるエンフェアの多様性の形での保存を選択せざるを得ない。 双方を保存したテキストジョイントスケーリングレシピについて検討する。
• 参考スコア（独自算出の注目度）: 17.56956004517664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models tend to perform best at large widths and depths. The growing interest in scaling laws, especially in the language modeling domain, has motivated procedures for scaling up network widths and depths in order to preserve stability and computational efficiency of training dynamics. Existing depth-scaling approaches force a choice between retaining locally maximal \emph{feature learning} and preserving a form of \emph{feature diversity} in the residual stream arising from random differences between channels. We examine a \textit{joint scaling recipe} that preserves both. With residual width $N_\flat$, hidden width $N_\sharp$, and depth $L$, the key quantity is, by default, the limiting ratio $N_\flat/(N_\sharp L)\toα$, while correlated initialization (Half Copy) can partially relax the resulting shape constraints. Theory and residual-MLP experiments support convergence at fixed positive $α$ to an SDE limit with locally maximal feature learning. Hidden computations can then be redistributed between width and depth while preserving this limit, like turning melody into harmony and back. Language-model experiments nevertheless show performance differences under regrouping at fixed parameter count. These results distinguish approximating a limit (ODE or SDE) from scaling for better performance.
• Abstract（参考訳）: ディープラーニングモデルは、広い幅と深さでベストに機能する傾向があります。 特に言語モデリング領域におけるスケーリング法則への関心の高まりは、トレーニング力学の安定性と計算効率を維持するために、ネットワーク幅と深さをスケールアップする手順を動機付けている。 既存の深さスケーリングアプローチでは、局所的な極大な \emph{feature learning} を維持するか、チャンネル間のランダムな違いから生じる残留ストリームに \emph{feature diversity} の形式を保存するかの選択を迫られる。 どちらも保存する‘textit{joint scaling recipe}’について検討する。 残留幅$N_\flat$、隠蔽幅$N_\sharp$、奥行き$L$では、鍵量はデフォルトでは制限比$N_\flat/(N_\sharp L)\toα$であり、相関初期化(Half Copy)は結果の形状制約を部分的に緩和することができる。 理論と残差MLP実験は、局所的な最大特徴学習を伴うSDE極限に対する固定正の$α$での収束を支持する。 隠れた計算は、この制限を保ちながら、幅と深さの間で再分配される。 言語モデル実験は、固定パラメータ数で再グループ化した場合のパフォーマンス差を示す。 これらの結果は、制限(ODEまたはSDE)のスケーリングとパフォーマンスの向上を区別する。

関連論文リスト

• Sharp feature-learning transitions and Bayes-optimal neural scaling laws in extensive-width networks [8.250374560598493]
  雑音の多い質問から階層的な特徴を持つ一層教師ネットワークを学習する際の情報理論的限界について検討する。 有効幅$k_c$付近でtextscAdam を訓練した学生が,これらの最適スケーリング法則を実現することを示す。
  論文  参考訳（メタデータ） (2026-05-11T11:39:03Z)
• Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space [56.37266873329401]
  大規模言語モデル (LLM) は、高度に一様でない情報密度を示す言語にもかかわらず、全てのトークンに一様計算を適用する。 我々は,潜在表現から意味境界を学習し,トークンから推論がより効率的である圧縮概念空間へ移行する階層型言語モデリングフレームワークである$textbfDynamic Large Concept Models (DLCM)$を提案する。
  論文  参考訳（メタデータ） (2025-12-31T04:19:33Z)
• Arithmetic-Mean $μ$P for Modern Architectures: A Unified Learning-Rate Scale for CNNs and ResNets [9.94514344279733]
  Arithmetic-Mean $mu$P は個々の層ではなく、ネットワーク全体の平均1ステップのプレアクティベーション第2モーメントを一定スケールに制限する。 1次元および2次元の畳み込みネットワークの場合、最大更新学習率は$etastar(L)propto L-3/2$; を満足する。
  論文  参考訳（メタデータ） (2025-10-05T19:22:50Z)
• Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
  階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。 実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
  論文  参考訳（メタデータ） (2025-09-29T12:55:50Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Scaling ResNets in the Large-depth Regime [11.374578778690623]
  Deep ResNetは、機械学習タスクで最先端の結果を達成するために認識されている。 Deep ResNetsは、勾配の消滅や爆発を避けるために慎重に設計する必要があるトレーニング手順に依存している。 この問題を緩和する方法については合意が得られていないが、広く議論されている戦略は、各レイヤの出力を$alpha_L$でスケーリングすることである。
  論文  参考訳（メタデータ） (2022-06-14T15:49:10Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。