論文の概要: Learning Rate Transfer for Hybrid Transformer-SSM Architectures
- arxiv url: http://arxiv.org/abs/2610.01172v1
- Date: Thu, 01 Oct 2026 06:46:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.950068
- Title: Learning Rate Transfer for Hybrid Transformer-SSM Architectures
- Title（参考訳）: ハイブリッド変圧器-SSMアーキテクチャの学習速度伝達
- Abstract要約: 本研究では,TransformerとState-Space Model(SSM)ブロックを組み合わせたハイブリッドアーキテクチャの学習率スケーリングについて検討する。
驚くべきことに、この実用的なハイブリッドアーキテクチャでは、256-2048の幅と4-32の深さにほぼゼロのLR転送ギャップが達成される。
- 参考スコア（独自算出の注目度）: 10.128323645819654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study learning rate (LR) scaling for hybrid architectures combining Transformer and State-Space Model (SSM) blocks, a class adopted by several recent production language models. In particular, we focus on the gap between the theoretical scaling rules derived for SSMs under zero-order-hold (ZOH) discretization at infinite width with growing state size, and the field-standard practical implementations using simplified-ZOH Mamba at fixed state size. Surprisingly, in this practical regime hybrid architectures achieve a near-zero LR transfer gap across widths 256-2048 and depths 4-32 up to billion-parameter scale using only the original $μ$P prescription, even though SSM operations fall outside its Tensor Programs representability conditions and every parameterization we test fails the standard coordinate-check diagnostic of $μ$P correctness. We attribute this to a two-condition decomposition of LR transfer in hybrid architectures: a global update-to-weight invariance, enforced by $μ$P's initialization and LR scaling; and a local per-component balance, provided by AdamW's per-parameter normalization. Our observations show that the optimal LR is invariant to width up to 8$\times$, that this width invariance holds across depth, sequence length, batch size, and Transformer-to-SSM ratio, and that it transfers to Nemotron-H, a production hybrid outside our custom architecture set. We hope these findings fill the gap between theoretical scaling rules and practical hybrid implementations, and stimulate further research toward bridging it.
- Abstract（参考訳）: 本稿では,TransformerとState-Space Model(SSM)ブロックを組み合わせたハイブリッドアーキテクチャの学習率(LR)スケーリングについて検討する。
特に、ゼロオーダーホールド(ZOH)の離散化の下でのSSMの理論的スケーリング規則と、状態サイズを増大させる無限の幅でのスケールルールと、固定状態サイズでの簡易ZOH Mambaを用いたフィールド標準実装とのギャップに焦点をあてる。
意外なことに、この実用的階層型ハイブリッドアーキテクチャでは、従来の$μ$P法則のみを用いて、256-2048幅と4-32深さのLR転送ギャップを達成している。
我々はこれをハイブリッドアーキテクチャにおけるLR転送の2条件分解、すなわち、$μ$Pの初期化とLRスケーリングによって強制される大域的更新-軽量不変性、およびAdamWのパラメータごとの正規化によって提供される局所的コンポーネントごとのバランスであると考えている。
我々の観測では、最適LRは幅が最大8$\times$まで不変であり、この幅は深さ、シーケンス長、バッチサイズ、Transformer-to-SSM比を持ち、カスタムアーキテクチャの外部のプロダクションハイブリッドであるNemotron-Hに転送される。
これらの知見が理論的スケーリングルールと実践的なハイブリッド実装のギャップを埋め、ブリッジ化に向けたさらなる研究を促進することを願っている。
関連論文リスト
- Variable-Width Transformers [57.07167443557886]
本稿では,$times$-shaped > former architectureを提案する。
我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。
平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
論文 参考訳（メタデータ） (2026-06-16T17:59:03Z) - Unlocking Feature Learning in Gated Delta Networks at Scale [52.705562336559446]
大規模言語モデルの訓練とスケーリングは膨大な計算資源を必要とする。
我々はGated Delta Networkのスケーリングルールを導出する。
言語モデル事前学習の実験により、我々の構成が安定した学習速度転送を可能にすることが確認された。
論文 参考訳（メタデータ） (2026-06-02T08:45:24Z) - A KL Lens on Quantization: Fast, Forward-Only Sensitivity for Mixed-Precision SSM-Transformer Models [9.31160191200499]
エッジデバイス上の大規模言語モデル(LLM)は、計算とメモリの厳しい制約に直面している。
量子化誘起劣化に最も敏感なハイブリッドSSM-トランスフォーマーコンポーネントを同定するための,軽量でバックプロパゲーションフリーなサロゲート型感度分析フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-15T03:40:30Z) - Generalization and Scaling Laws for Mixture-of-Experts Transformers [0.0]
我々は,Mixture-of-Experts (MoE) 変換器の一般化とスケーリングの理論を開発する。
本手法は, アクティブパラメータの予算で計量エントロピーがスケールする超ノルム被覆数界を導出し, MoE 固有のルーティングオーバヘッドを発生させる。
我々は,MoE アーキテクチャの構成的近似定理を証明し,近似構成の下では,アクティブキャパシティのスケーリングや専門家数の増加によって誤差が減少することを示した。
論文 参考訳（メタデータ） (2026-04-10T09:59:48Z) - Holistic Scaling Laws for Optimal Mixture-of-Experts Architecture Optimization [19.86300998075755]
本稿では,全体的MoEアーキテクチャ最適化のための再利用可能なフレームワークを提案する。
まず、トークン当たりのFLOPsはMoEモデルにとって不適切な公平度指標であることを示す。
次に、16次元のアーキテクチャ探索空間を2つの連続的な低次元位相に縮小する。
我々のフレームワークは、あらゆる計算予算を完全な最適化されたMoEアーキテクチャにマッピングする堅牢なスケーリング法則を生み出します。
論文 参考訳（メタデータ） (2026-03-23T11:51:35Z) - Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures [0.0]
本稿では,アフィン変換を2つのトポロジカルな経路に分解するHybrid Dual-Path Linear (HDPL)演算子について紹介する。
FineWeb-Eduデータセットの実験では、HDPLアーキテクチャが標準のLlamaスタイルのベースラインより優れていることが示されている。
本稿では,トランスフォーマーのバックボーン内での確率的潜在空間の明示的な物質化が,重要な建築的余裕として果たす役割について論じる。
論文 参考訳（メタデータ） (2026-02-05T20:16:10Z) - Hybrid and Unitary Fine-Tuning of Large Language Models: Methods and Benchmarking under Resource Constraints [0.0]
微調整された大規模言語モデル(LLM)は、スケールとメモリ要求のため、計算上のボトルネックのままである。
本稿では,LoRA,BOFT,LoRA-GA,uRNNなどのパラメータ効率向上技術について包括的な評価を行った。
勾配ノルムで導かれる階層ごとの適応的な更新を演算することにより、ハイブリッド法は様々なタスクにまたがる収束効率と一般化を向上する。
論文 参考訳（メタデータ） (2025-07-24T04:00:02Z) - Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。
より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。
我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
論文 参考訳（メタデータ） (2024-05-08T11:09:24Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - A Wasserstein Minimax Framework for Mixed Linear Regression [69.40394595795544]
マルチモーダル分布は、学習タスクにおいてクラスタ化されたデータをモデル化するために一般的に使用される。
混合線形回帰問題に対する最適輸送ベースフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-14T16:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。