論文の概要: SepSeq: A Training-Free Framework for Long Numerical Sequence Processing in LLMs

• arxiv url: http://arxiv.org/abs/2604.07737v1
• Date: Thu, 09 Apr 2026 02:40:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.647768
• Title: SepSeq: A Training-Free Framework for Long Numerical Sequence Processing in LLMs
• Title（参考訳）: SepSeq: LLMにおける長期数値シーケンス処理のためのトレーニングフリーフレームワーク
• Abstract要約: 本稿では,セパレータトークンを戦略的に挿入することで分散を緩和する学習自由なプラグアンドプレイフレームワークを提案する。 メカニカルには、セパレータトークンが注目シンクとして機能し、グローバルなコンテキストを維持しながら、局所的なセグメントに注意を向けることが示される。
• 参考スコア（独自算出の注目度）: 51.84813231879529
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While transformer-based Large Language Models (LLMs) theoretically support massive context windows, they suffer from severe performance degradation when processing long numerical sequences. We attribute this failure to the attention dispersion in the Softmax mechanism, which prevents the model from concentrating attention. To overcome this, we propose Separate Sequence (SepSeq), a training-free, plug-and-play framework to mitigate dispersion by strategically inserting separator tokens. Mechanistically, we demonstrate that separator tokens act as an attention sink, recalibrating attention to focus on local segments while preserving global context. Extensive evaluations on 9 widely-adopted LLMs confirm the effectiveness of our approach: SepSeq yields an average relative accuracy improvement of 35.6% across diverse domains while reducing total inference token consumption by 16.4% on average.
• Abstract（参考訳）: 変圧器をベースとした大規模言語モデル(LLM)は理論的には大量のコンテキストウィンドウをサポートするが、長い数値列を処理する際には厳しい性能劣化に悩まされる。 我々は、この故障をSoftmaxメカニズムの注意分散に起因し、モデルが注意を集中することを防ぐ。 これを解決するために,セパレータトークンを戦略的に挿入することで分散を緩和する,トレーニング不要なプラグアンドプレイフレームワークであるセパレートシーケンス(SepSeq)を提案する。 メカニカルには、セパレータトークンが注目シンクとして機能し、グローバルなコンテキストを維持しながら、局所的なセグメントに注意を向けることが示される。 SepSeqは、様々な領域で平均35.6%の相対的精度向上を達成し、総推論トークン消費量を平均16.4%削減します。

関連論文リスト

• Seeing the End at Step Zero: Accelerating Diffusion MLLMs via MLP Sparsity-Aware Truncation [6.796779304354568]
  Seerはトレーニング不要のフレームワークで、アクティベーション空間のシフトを通じて、第1ステップで有効なセマンティック境界を検出する。 実験の結果,Seerは水田廃棄物を効果的に除去し,スループットを最大$sim$31$times$に向上することがわかった。
  論文  参考訳（メタデータ） (2026-07-16T04:37:02Z)
• D2Pruner: Debiased Importance and Structural Diversity for MLLM Token Pruning [49.16227597771663]
  D2Prunerは、デバイアスされた重要性と構造的なプルーニングメカニズムを組み合わせたフレームワークである。 FLOPを74.2%削減し、元の性能の99.2%を維持した。 既存の手法に比べて63.53%も改善されている。
  論文  参考訳（メタデータ） (2025-12-22T14:42:31Z)
• SpecAttn: Speculating Sparse Attention [1.6921396880325779]
  SpecAttnは、投機的復号化技術とシームレスに統合する、新しいトレーニング不要のアプローチである。 私たちの重要な洞察は、投機的復号中にドラフトモデルによって既に計算されている注意重みを利用して、ターゲットモデルの重要なトークンを特定することです。 SpecAttnは、PG-19データセットのパープレキシティをわずか15.29%増加させ、キー値キャッシュアクセスを75%以上削減する。
  論文  参考訳（メタデータ） (2025-10-31T17:12:34Z)
• Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。 最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
  論文  参考訳（メタデータ） (2025-10-05T10:50:52Z)
• Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction [52.14200610448542]
  変圧器は二次的な複雑さを持ち、長いシーケンスに対して高い推論コストとレイテンシをもたらす。 本稿では、この分布シフトを修正するためのシンプルで斬新で効果的な手順を提案する。 1Mトークンのプリフィル処理では,Flash Attention 2の32倍の速度で,約98.5%の間隔を維持することができる。
  論文  参考訳（メタデータ） (2025-05-16T13:48:33Z)
• Tactic: Adaptive Sparse Attention with Clustering and Distribution Fitting for Long-Context LLMs [10.52833484759311]
  本稿では,空間適応型かつキャリブレーションフリーなスパースアテンション機構であるTacticを提案する。 固定されたトークン予算ではなく、累積的な注意スコアに基づいてトークンを動的に選択する。 我々は、Tacticが既存のスパースアテンションアルゴリズムより優れており、精度が良く、7.29倍のデコードアテンションスピードアップを実現していることを示す。
  論文  参考訳（メタデータ） (2025-02-17T08:39:43Z)
• SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator [65.62084602011596]
  大規模言語モデル(LLM)は、自然言語処理タスクの範囲で例外的な性能を示した。 特定の意味のないセパレータトークン(句読点)は意味的に意味のあるトークンと比較して注意点に不均等に寄与する。 SepLLMは,これらのセグメントを圧縮し,冗長なトークンを除去することによって推論を高速化する,プラグアンドプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-12-16T18:58:57Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Bifurcated Attention: Accelerating Massively Parallel Decoding with Shared Prefixes in LLMs [39.16152482491236]
  Bifurcated attentionは、共有コンテキストバッチデコードシナリオにおける言語モデル推論を強化するために設計された手法である。 提案手法は,高バッチサイズおよび拡張コンテキスト長のレイテンシに寄与する重要な要因である冗長メモリIOコストの課題に対処する。
  論文  参考訳（メタデータ） (2024-03-13T16:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。