論文の概要: An Exploratory Ablation of a Small MLA--SSM Hybrid Language Model

• arxiv url: http://arxiv.org/abs/2609.29618v1
• Date: Fri, 28 Aug 2026 10:50:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.086126
• Title: An Exploratory Ablation of a Small MLA--SSM Hybrid Language Model
• Title（参考訳）: 小型MLA-SSMハイブリッド言語モデルの探索的アブレーション
• Abstract要約: TALH (Adaptive Latent Hybrid) の探索的単座アブレーションを報告する。 トークン当たり117～217万のアクティブパラメータにまたがる5つの変種が、FinWebサンプルでスクラッチからトレーニングされている。 密度の高いFFNハイブリッドはPPL 231を取得し、テスト済みのトップ23次MoEハイブリッドは240、ピークトレーニングメモリは3.87GBである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We report an exploratory, single-seed ablation of TALH (Adaptive Latent Hybrid), a decoder-only language model with parallel Multi-head Latent Attention (MLA) and a custom recurrent state-space (SSM) branch. Five variants, spanning 117--217M estimated active parameters per token, are trained from scratch on a FineWeb sample for the same number of optimisation steps and tokens. In this specific setup, removing the SSM branch gives the largest degradation in validation perplexity (MLA-only PPL 315), whereas removing MLA has a much smaller effect (SSM-only PPL 239). A dense-FFN hybrid obtains PPL 231, compared with 240 for the tested top-2 ternary-MoE hybrid, while using 3.87 GB less peak training memory. We also preserve a preliminary Apple M3 timing observation: among the five unoptimised implementations, MLA-only has the flattest measured time-to-first-token curve from 512 to 2,048 prompt tokens, although the dense Transformer is much faster in absolute terms. Because the runs are single-seed, parameter counts are unmatched, the evaluation stream may overlap the training source, and raw repeated timing records are unavailable, these results support implementation-specific hypotheses rather than general conclusions about MLA, SSMs, or mixture-of-experts models.
• Abstract（参考訳）: 本稿では,MLA (Multi-head Latent Attention) とSSM (Custom Recurrent State-space) 分岐を持つデコーダのみの言語モデルであるTALH (Adaptive Latent Hybrid) の探索的単座アブレーションについて報告する。 トークン当たり117～217万のアクティブパラメータにまたがる5つの変種は、同じ数の最適化ステップとトークンに対してFinWebサンプルをスクラッチからトレーニングする。 この特定の設定では、SSMブランチの除去は、検証パープレキシティの最大の劣化(MLAのみのPPL 315)を与えるが、MLAの除去はより小さな効果(SSMのみのPPL 239)を持つ。 密度の高いFFNハイブリッドはPPL 231を取得し、テスト済みのトップ23次MoEハイブリッドは240、ピークトレーニングメモリは3.87GBである。 最適化されていない5つの実装のうち、MLAのみは512から2,048のプロンプトトークンで計測される最も平坦な時間-ファースト-トケン曲線を持つが、高密度トランスフォーマーは絶対的にはるかに高速である。 ランは単行数であり、パラメータ数は一致しないため、評価ストリームはトレーニングソースと重複し、生の繰り返しタイミング記録は利用できないため、これらの結果は、MLA、SSM、またはエキスパートの混合モデルに関する一般的な結論よりも、実装固有の仮説を支持する。

関連論文リスト

• Beyond KV Reconstruction: Functional Reconstruction for MLA Draft Models in Speculative Decoding [36.446302092919495]
  MLAのドラフト構造をキャッシュ圧縮よりも機能的再構成として定式化する。 Llama/Qwenの4つのドラフトターゲットペア、TransMLAとMHA2MLA、HFとvLLM、200のプロンプトタスクにまたがる192のモデル-コンバータ-バックエンド-メソッド-タスク構成を評価した。
  論文  参考訳（メタデータ） (2026-07-29T10:54:46Z)
• QK-Normed MLA: QK normalization without full key caching [65.51862319225098]
  QK正規化は、フルキーキャッシュを必要とせずに、MLAモデルの実用的な安定化オプションであることを示す。 最大100Bトークンでトレーニングされた400Mの実行では、QK-Normed MLAはトレーニング損失の低減と、QKクリッピングよりも下流の精度の向上を実現しています。
  論文  参考訳（メタデータ） (2026-06-15T07:16:30Z)
• mHC-SSM: Manifold-Constrained Hyper-Connections for State Space Language Models with Stream-Specialized Adapters [2.0149091262792767]
  我々は,mHCスタイルの制約付きマルチストリーム残差トポロジが状態空間モデル(SSM)言語モデルに効果的に転送されるかどうかを検討する。 残差ストリームを複数の並列ストリームに拡張することにより,SSMブロックの周囲に静的mHC機構を実装した。 ストリーム毎のスケーリングと共有ボトルネックを通じて、軽量なストリーム特化キャパシティを追加するストリーム特化アダプタを導入します。
  論文  参考訳（メタデータ） (2026-05-08T11:37:23Z)
• DiSC-AMC: Token- and Parameter-Efficient Discretized Statistics In-Context Automatic Modulation Classification [19.190236060870184]
  大規模言語モデル(LLM)は、微調整なしで、オープンセットで自動変調分類(AMC)を実行することができる。 文脈自動変調分類(DiSC-AMC)における離散統計量について述べる。 DiSC-AMCは、高次の統計と累積をコンパクトなシンボルトークンに識別するトークンおよびパラメータ効率の変種である。
  論文  参考訳（メタデータ） (2025-09-30T22:20:57Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Multimodal Large Language Models with Fusion Low Rank Adaptation for Device Directed Speech Detection [8.683288452838136]
  大規模言語モデル(LLM)は人間のような会話を約束しているが、主にテキストデータに基づいて事前訓練されている。 本稿では,事前学習した単調なLDMを効率よく適用し,これまで目に見えなかった新しいモダリティを消費するFLORA手法を提案する。 デバイス指向音声検出では、FLoRAを用いることで、テキストのみのアプローチに比べて、マルチモーダルLLMは22%の誤差率(EER)の相対的な低減を実現している。
  論文  参考訳（メタデータ） (2024-06-13T22:52:07Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。