論文の概要: InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation

• arxiv url: http://arxiv.org/abs/2509.24663v1
• Date: Mon, 29 Sep 2025 12:08:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.962102
• Title: InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation
• Title（参考訳）: InfLLM-V2:Seamless Short-to-Long AdaptationのためのDense-Sparse Switchable Attention
• Authors: Weilin Zhao, Zihan Zhou, Zhou Su, Chaojun Xiao, Yuxuan Li, Yanghao Li, Yudi Zhang, Weilun Zhao, Zhen Li, Yuxiang Huang, Ao Sun, Xu Han, Zhiyuan Liu,
• Abstract要約: ロングシーケンス処理は、現代の大規模言語モデルにとって重要な機能である。 InfLLM-V2は、ショートシーケンスからロングシーケンスまでのモデルをシームレスに適応する訓練可能なスパースアテンションフレームワークである。 実験では、InfLLM-V2は高密度の注意より4$times$速いが、98.1%と99.7%のパフォーマンスを維持している。
• 参考スコア（独自算出の注目度）: 56.694702609077495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-sequence processing is a critical capability for modern large language models. However, the self-attention mechanism in the standard Transformer architecture faces severe computational and memory bottlenecks when processing long sequences. While trainable sparse attention methods offer a promising solution, existing approaches such as NSA introduce excessive extra parameters and disrupt the conventional \textit{pretrain-on-short, finetune-on-long} workflow, resulting in slow convergence and difficulty in acceleration. To overcome these limitations, we introduce dense-sparse switchable attention framework, termed as InfLLM-V2. InfLLM-V2 is a trainable sparse attention that seamlessly adapts models from short to long sequences. Specifically, InfLLM-V2 reuses dense attention parameters through parameter-free architecture modification, maintaining consistency between short and long sequence processing. Additionally, InfLLM-V2 ensures computational efficiency across all sequence lengths, by using dense attention for short inputs and smoothly transitioning to sparse attention for long sequences. To achieve practical acceleration, we further introduce an efficient implementation of InfLLM-V2 that significantly reduces the computational overhead. Our experiments on long-context understanding and chain-of-thought reasoning demonstrate that InfLLM-V2 is 4$\times$ faster than dense attention while retaining 98.1% and 99.7% of the performance, respectively. Based on the InfLLM-V2 framework, we have trained and open-sourced MiniCPM4.1 (https://huggingface.co/openbmb/MiniCPM4.1-8B), a hybrid reasoning model, providing a reproducible implementation for the research community.
• Abstract（参考訳）: ロングシーケンス処理は、現代の大規模言語モデルにとって重要な機能である。 しかし、標準トランスフォーマーアーキテクチャの自己保持機構は、長いシーケンスを処理する際に深刻な計算とメモリのボトルネックに直面している。 トレーニング可能なスパースアテンションメソッドは有望なソリューションを提供するが、NSAのような既存のアプローチでは過剰な余分なパラメータを導入し、従来の \textit{pretrain-on-short, finetune-on-long} ワークフローを中断する。 これらの制限を克服するため,InfLLM-V2と呼ばれる細密な切り換え可能なアテンションフレームワークを導入する。 InfLLM-V2は、ショートシーケンスからロングシーケンスまでのモデルをシームレスに適応する訓練可能なスパースアテンションである。 特に、InfLLM-V2は、パラメータなしアーキテクチャの修正を通じて高密度な注意パラメータを再利用し、短いシーケンス処理と長いシーケンス処理の一貫性を維持する。 さらに、InfLLM-V2は、短い入力に対して高密度の注意を使い、長いシーケンスに対してスムーズな注意を円滑に移行することで、全てのシーケンスの長さにわたる計算効率を保証する。 さらに,InfLLM-V2の効率的な実装を導入し,計算オーバーヘッドを大幅に削減する。 InfLLM-V2の長文理解とチェーン・オブ・シント推論実験により,InfLLM-V2は高次注意よりも4$\times$高速であり,98.1%,99.7%の性能を維持した。 InfLLM-V2フレームワークに基づいて、我々は、ハイブリッド推論モデルであるMiniCPM4.1(https://huggingface.co/openbmb/MiniCPM4.1-8B)をトレーニングし、オープンソースにした。

関連論文リスト

• SparseAccelerate: Efficient Long-Context Inference for Mid-Range GPUs [0.0]
  SparseAccelerateは動的スパースアテンション手法であり、入力特性に基づいてその疎度パターンを適応する。 実験結果から,SparseAccelerateは最大1.04倍のTTTF遅延を32Kトークンで達成した。
  論文  参考訳（メタデータ） (2024-12-09T04:27:03Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Lean Attention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers [4.674454841332859]
  トランスフォーマーベースのモデルは、自然言語処理の最も広く使われているアーキテクチャの1つとして登場した。 これらの巨大なモデルはメモリが空腹で、最先端のAIアクセラレータでも大きな推論レイテンシが生じる。 本稿ではトークン生成フェーズの自己認識をスケーラブルに計算する手法であるLeanAttentionを提案する。
  論文  参考訳（メタデータ） (2024-05-17T00:52:39Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Bifurcated Attention: Accelerating Massively Parallel Decoding with Shared Prefixes in LLMs [39.16152482491236]
  Bifurcated attentionは、共有コンテキストバッチデコードシナリオにおける言語モデル推論を強化するために設計された手法である。 提案手法は,高バッチサイズおよび拡張コンテキスト長のレイテンシに寄与する重要な要因である冗長メモリIOコストの課題に対処する。
  論文  参考訳（メタデータ） (2024-03-13T16:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。