論文の概要: The Drift Contract: Spectral Updates for Depth-Robust Local Learning
- arxiv url: http://arxiv.org/abs/2609.26811v1
- Date: Wed, 16 Sep 2026 12:43:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.68277
- Title: The Drift Contract: Spectral Updates for Depth-Robust Local Learning
- Title（参考訳）: ドリフト契約:深部ローバストローカル学習のためのスペクトル更新
- Abstract要約: 地域学習は各層を独自の補助的損失で訓練し、グローバルな後方通過は行わない。
深度が大きくなるにつれて精度が低下し、過活性化は脆弱である。
層ごとの局所的な更新にMuon方式のスペクトル更新幾何を適用した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Local learning trains each layer with its own auxiliary loss and no global backward pass, which makes layer updates structurally parallel. Two problems have kept it marginal: accuracy degrades as depth grows, and hyperparameters are fragile. We apply Muon-style spectral update geometry (momentum orthogonalization with spectral step scaling) to per-layer local updates, an intersection not previously studied. On CIFAR-10 MLP benchmarks with local linear heads, a single step-size setting is the best value in our tested grids from width 128 to 2048 and from depth 12 to 48, while local Adam requires re-tuning along both axes and still collapses at depth 48 (31.3 percent re-tuned per depth, 19 percent with its depth-12 setting transferred, vs 42.7 percent for the spectral update at its unchanged setting). At five seeds and width 512 the spectral update leads local Adam by a clear margin (48.9 +/- 0.5 vs 46.6 +/- 0.3). Prospectively specified controls attribute the transfer and most of the depth robustness to the spectral geometry itself rather than to any step-size rule on top of it. We additionally formulate the step size as a drift contract, lr = epsilon / RMS(input), which bounds each layer's weight-induced pre-activation change per step, conditioned on its current input. The contract yields a small gain over the best fixed learning rate where that baseline is measured, makes the step size interpretable, and provides a per-layer, input-conditioned drift bound that standard optimizers do not offer. We report one negative result: with RMSNorm and weight decay in the trunk, the stability benefit of spectral updates accrues to global rather than local training, so the local advantage concentrates precisely where normalization is absent.
- Abstract（参考訳）: ローカルラーニングは各レイヤに独自の補助的損失を与え、グローバルな後方通過を行なわず、レイヤを構造的に並列に更新する。
深さが大きくなるにつれて精度が低下し、ハイパーパラメータは脆弱である。
我々は,Muon型スペクトル更新幾何学(スペクトルステップスケーリングによるモーメントム直交化)を層間局所更新に適用する。
局所線形ヘッドを持つCIFAR-10 MLPベンチマークでは、単一のステップサイズ設定は、幅128から2048、深さ12から48までのテストグリッドで最高の値であり、一方、局所アダムは両方の軸に沿って再調整し、深さ48(深さ1度に31.3%、深さ12を移すと19パーセント、スペクトル更新は42.7%)で分解する必要がある。
5つの種と512の幅で、スペクトル更新はアダムをクリアマージン(48.9 +/-0.5 vs 46.6 +/-0.3)に導く。
前方に特定された制御は、その上にあるステップサイズの規則よりも、スペクトル幾何学自体への転送と深さの堅牢性に起因している。
また,ステップサイズをドリフト契約 (lr = epsilon / RMS(input)) として定式化する。
契約は、基準線が測定される最良の固定学習率よりも小さな利得を得、ステップサイズを解釈可能とし、標準オプティマイザが提供しない層ごとの入力条件ドリフトバウンドを提供する。
RMSNormとトランクの重量減衰により、スペクトル更新の安定性は局所的なトレーニングよりもグローバルに向上するので、局所的な利点は正規化が欠如している場所で正確に集中する。
関連論文リスト
- MpSub: A Momentum $p$-Dimensional Subspace Trust-Region Method for Derivative-Free Fine-Tuning of Large Language Models [2.420502889163267]
微調整言語モデルのためのモーメント$p$次元部分空間信頼領域法(MpSub)を提案する。
MpSubは$p$次元の部分空間内を探索し、ある方向は最も最近受け入れられたステップから歴史的運動量を保存する。
3つの種に対して0.673と0.690の平均的な精度を達成し、学習速度の検索なしに調整されたMeZO (0.685)と一致する。
論文 参考訳（メタデータ） (2026-09-07T15:51:11Z) - SS-ESOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning [70.71795707610961]
メソッドは、Kronecker幾何に適応したスカラーセマントエネルギー補正でSOAPスタイルのプレコンディショニングを強化する。
メソッドは8つのPDEベンチマークのうち6つで最下位の残差に達する。
4つの代表PDEの3列の$L2$と$H1$エラーは、低い残差と改善された解精度の間のリンクをサポートする。
論文 参考訳（メタデータ） (2026-08-29T21:34:47Z) - Spectral Gradient Orthogonalization Improves Differentially Private Training at Scale [17.610398782149293]
空間的相関が勾配エネルギーを低ランクの部分空間に集中させる視覚モデルでは、ほとんどのノイズは信号がほとんどない方向に落ちる。
偏極分解によるスペクトル勾配直交化は後処理ステップとして導入される。
直交スペクトル信号対雑音比(SNR)が特異ベクトル回復に十分である場合にのみ精度が向上する。
論文 参考訳（メタデータ） (2026-08-18T06:35:26Z) - A Controlled Study of Attention-Only Transformers [0.0]
我々は、パラメータカウント、FLOPのトレーニング、深さを個別にマッチする標準変換器に対して、注意のみのデコーダ変換器を訓練する。
解放された予算を注意深さに再配置することはギャップを埋めます。
注意のみのモデルは、文脈に基づく回答よりも、知識が重みから来る必要がある場合の方が優れていることを示す。
論文 参考訳（メタデータ） (2026-07-20T15:29:00Z) - No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training [0.0]
GaLoreのようなメモリ効率は、ランク-r部分空間に勾配を投影することで、大きな言語モデルを訓練する。
私たちは、小さな再現可能なコアを超えて、そのようなオブジェクトは存在しないことを示します。
論文 参考訳（メタデータ） (2026-07-07T06:06:04Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - Normalized Architectures are Natively 4-Bit [49.13186675123547]
重みと隠れ表現を単位超球面に制限するアーキテクチャであるnGPTは、本質的に低精度算術よりも堅牢である。
本手法は,最大3B/30Bパラメータの1.2B密度モデルとハイブリッド(Mamba-Transformer)MoEモデルの両方で検証する。
論文 参考訳（メタデータ） (2026-05-07T11:54:07Z) - Decomposing the Depth Profile of Fine-Tuning [1.5567685129899713]
ファインチューニングは、トレーニング済みのネットワークを新しい目的に適応させる。
15個のモデルにまたがる240個の微調整ランにおける表現的変化の深さプロファイルを測定した。
局所性, 表現的変化の深さ勾配を, 成分がスケール依存の複合現象として扱う。
論文 参考訳（メタデータ） (2026-04-19T00:25:54Z) - FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。
我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文 参考訳（メタデータ） (2023-10-04T21:11:40Z) - DeepNet: Scaling Transformers to 1,000 Layers [106.33669415337135]
トランスフォーマーの残差接続を修正するための新しい正規化関数(DeepNorm)を導入する。
詳細な理論解析により、モデル更新は安定な方法でバウンドできることが示されている。
トランスフォーマーを1,000層まで拡張することに成功したが、これは従来のディープトランスフォーマーよりも1桁も深い。
論文 参考訳（メタデータ） (2022-03-01T15:36:38Z) - Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular
Video Depth [90.33296913575818]
映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。
局所重み付き線形回帰法を提案する。
提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
論文 参考訳（メタデータ） (2022-02-03T08:52:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。