論文の概要: MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling

• arxiv url: http://arxiv.org/abs/2602.11761v1
• Date: Thu, 12 Feb 2026 09:37:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.751266
• Title: MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling
• Title（参考訳）: MiniCPM-SALA:効率的な長期モデリングのためのスパースと線形注意のハイブリッド化
• Authors: MiniCPM Team, Wenhao An, Yingfa Chen, Yewei Fang, Jiayi Li, Xin Li, Yaohui Li, Yishan Li, Yuxuan Li, Biyuan Lin, Chuan Liu, Hezi Liu, Siyuan Liu, Hongya Lyu, Yinxu Pan, Shixin Ren, Xingyu Shen, Zhou Su, Haojun Sun, Yangang Sun, Zhen Leng Thai, Xin Tian, Rui Wang, Xiaorong Wang, Yudong Wang, Bo Wu, Xiaoyue Xu, Dong Xu, Shuaikang Xue, Jiawei Yang, Bowen Zhang, Jinqian Zhang, Letian Zhang, Shengnan Zhang, Xinyu Zhang, Xinyuan Zhang, Zhu Zhang, Hengyu Zhao, Jiacheng Zhao, Jie Zhou, Zihan Zhou, Shuo Wang, Chaojun Xiao, Xu Han, Zhiyuan Liu, Maosong Sun,
• Abstract要約: MiniCPM-SALAは、疎注意の高忠実長文モデリングと線形注意のグローバル効率を統合するハイブリッドモデルである。 1つのNVIDIA A6000D GPUでは、256Kトークンのシーケンス長におけるフルアテンションモデルの推論速度が3.5倍に達する。
• 参考スコア（独自算出の注目度）: 80.48332380100915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The evolution of large language models (LLMs) towards applications with ultra-long contexts faces challenges posed by the high computational and memory costs of the Transformer architecture. While existing sparse and linear attention mechanisms attempt to mitigate these issues, they typically involve a trade-off between memory efficiency and model performance. This paper introduces MiniCPM-SALA, a 9B-parameter hybrid architecture that integrates the high-fidelity long-context modeling of sparse attention (InfLLM-V2) with the global efficiency of linear attention (Lightning Attention). By employing a layer selection algorithm to integrate these mechanisms in a 1:3 ratio and utilizing a hybrid positional encoding (HyPE), the model maintains efficiency and performance for long-context tasks. Furthermore, we introduce a cost-effective continual training framework that transforms pre-trained Transformer-based models into hybrid models, which reduces training costs by approximately 75% compared to training from scratch. Extensive experiments show that MiniCPM-SALA maintains general capabilities comparable to full-attention models while offering improved efficiency. On a single NVIDIA A6000D GPU, the model achieves up to 3.5x the inference speed of the full-attention model at the sequence length of 256K tokens and supports context lengths of up to 1M tokens, a scale where traditional full-attention 8B models fail because of memory constraints.
• Abstract（参考訳）: 大規模言語モデル(LLM)の超長コンテキストアプリケーションへの進化は、Transformerアーキテクチャの高計算とメモリコストによって引き起こされる課題に直面している。 既存のスパース機構と線形アテンション機構はこれらの問題を緩和しようとするが、一般的にはメモリ効率とモデル性能のトレードオフを伴う。 本稿では,スパークアテンション(InfLLM-V2)の高忠実長文モデリングとリニアアテンション(Lightning Attention)のグローバル効率を統合する9BパラメータハイブリッドアーキテクチャであるMiniCPM-SALAを紹介する。 階層選択アルゴリズムを用いて、これらのメカニズムを1:3の比率で統合し、ハイブリッド位置符号化(HyPE)を利用することで、長文タスクの効率と性能を維持する。 さらに,事前学習したTransformerベースのモデルをハイブリッドモデルに変換するコスト効率のよい連続トレーニングフレームワークを導入し,スクラッチからトレーニングするよりもトレーニングコストを約75%削減する。 大規模な実験により、MiniCPM-SALAはフルアテンションモデルに匹敵する汎用性を保ちながら効率を向上していることが示された。 単一のNVIDIA A6000D GPUでは、256Kトークンのシーケンス長のフルアテンションモデルの推論速度を3.5倍に向上し、最大1Mトークンのコンテキスト長をサポートする。

関連論文リスト

• Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts [27.8245634187787]
  本稿では,トランスフォーマーモデルをRNN-アテンションハイブリッドモデルに蒸留するためのパイプラインであるHALOを提案する。 そこで,提案するHypeNetは,新しい位置符号化方式により,より優れた長さの一般化を実現したハイブリッドアーキテクチャである。 変換には2.3Bトークンしか必要とせず、事前トレーニングデータの0.01%以下である。
  論文  参考訳（メタデータ） (2026-01-29T18:59:53Z)
• Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers [42.80120203718226]
  本稿では,入力に基づいて全体空間を調整できるElastic Attentionを提案する。 8xA800 GPU上でのトレーニングをわずか12時間以内で行うと、モデルが強い性能と効率的な推論を達成できる。
  論文  参考訳（メタデータ） (2026-01-24T08:22:07Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• Collaborative Decoding Makes Visual Auto-Regressive Modeling Efficient [52.96232442322824]
  CoDe(Collaborative Decoding)は、Visual Auto-Regressive (VAR)フレームワーク用に設計された、新しい効率的なデコーディング戦略である。 CoDeは、大規模でのパラメータ要求の大幅な削減と、異なるスケールでの排他的生成パターンという、2つの重要な観察に乗じている。 CoDeは1.7倍のスピードアップを実現し、メモリ使用量を約50%削減し、画像品質を1.95から1.98に改善した。
  論文  参考訳（メタデータ） (2024-11-26T15:13:15Z)
• Hymba: A Hybrid-head Architecture for Small Language Models [65.94140459055244]
  Hymbaは、ハイブリッドヘッド並列アーキテクチャを特徴とする、小さな言語モデルのファミリーである。 重要な情報を保持するプロンプトに先立って,学習可能なメタトークンを導入する。 このモデルは、層間鍵値共有と部分的スライディングウィンドウアテンションを組み込むことにより、さらに最適化される。
  論文  参考訳（メタデータ） (2024-11-20T19:51:25Z)
• Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
  RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。 RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
  論文  参考訳（メタデータ） (2024-07-18T10:26:53Z)
• TransNormerLLM: A Faster and Better Large Language Model with Improved TransNormer [34.790081960470964]
  最初の線形注意に基づくLarge Language Model(LLM)であるTransNormerLLMを提案する。 我々は, 位置埋め込み, 線形注意加速度, ゲーティング機構, テンソル正規化, 推論加速度, 安定化など, 高度な修正を行う。 自己収集コーパス上に385M, 1B, 7Bの大きさの列車モデルとアブリケーションを用いてモデル設計を検証する。
  論文  参考訳（メタデータ） (2023-07-27T16:45:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。