論文の概要: Distilling Sequential Computation in Transformer Language Models

• arxiv url: http://arxiv.org/abs/2609.27233v1
• Date: Wed, 23 Sep 2026 02:02:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.824513
• Title: Distilling Sequential Computation in Transformer Language Models
• Title（参考訳）: 変圧器言語モデルにおける逐次計算
• Abstract要約: Transformer言語モデルでは、トークン単位のシーケンスを自動回帰的に処理する。 入力トークンのスパンを崩壊表現に置き換えることで逐次計算を蒸留する手法を提案する。
• 参考スコア（独自算出の注目度）: 27.155933358949213
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer language models process sequences token by token in an autoregressive manner, making growing contexts increasingly expensive. Yet many adjacent token spans are highly predictable or frequently occur as stable units, suggesting that their representations may be compressible. We introduce a method for distilling sequential computation by replacing spans of input tokens with collapsed representations, computed on the fly by a lightweight merge module. This module generates a single surrogate embedding from a sequence of static token embeddings that captures the functional role of the multiple tokens, allowing pretrained models to operate on compressed inputs without architectural changes or re-training. We apply this approach during inference to compress both prompts and intermediate decoding steps, using a rollback mechanism to substitute stored multi-token KV cache entries with their single-step surrogates. Experiments across diverse models show that the merge module can be used to reduce effective sequence length by up to 40% with minimal accuracy degradation across language modeling evaluations and downstream tasks, including question answering, summarization, commonsense reasoning, and long-form mathematical reasoning. Additional lightweight adaptation of the merge module further improves the accuracy-compression trade-off in selected settings. These results demonstrate that sequential token computation in Transformers can be effectively approximated through condensed surrogate representations that approximate the original behavior without model updating.
• Abstract（参考訳）: トランスフォーマー言語は、トークンによるトークンのシーケンスを自動回帰的に処理し、成長するコンテキストをますます高価にする。 しかし、多くの隣接するトークンスパンは、非常に予測可能であるか、しばしば安定な単位として発生し、それらの表現が圧縮可能であることを示唆している。 本稿では,軽量なマージモジュールによって高速に計算された入力トークンのスパンを,崩壊した表現に置き換えることで,逐次計算を蒸留する方法を提案する。 このモジュールは、静的トークン埋め込みのシーケンスから単一の代理埋め込みを生成し、複数のトークンの機能的役割をキャプチャし、事前訓練されたモデルがアーキテクチャの変更や再トレーニングなしに圧縮された入力で動作できるようにする。 提案手法は,マルチトークンKVキャッシュエントリを1ステップのサロゲートで置換するロールバック機構を用いて,プロンプトと中間デコーディングの両方のステップを圧縮する手法である。 多様なモデルを対象とした実験では、解答、要約、コモンセンス推論、ロングフォームな数学的推論など、言語モデリングの評価や下流のタスクで最小限の精度で、マージモジュールが有効配列長を最大40%削減できることを示した。 マージモジュールの軽量化により、選択した設定における精度圧縮トレードオフがさらに向上する。 これらの結果から,トランスフォーマーにおける逐次トークン計算は,モデル更新なしに元の振る舞いを近似する凝縮した代理表現によって効果的に近似できることを示した。

関連論文リスト

• Variational Learning for Insertion-based Generation [50.15012125719375]
  可変長挿入モデルの挿入順序を学習するための確率的フレームワークを提案する。 本稿では,挿入する場所,挿入する場所,終了するタイミングを共同で学習する生成モデルであるInsertion Process (IP)を提案する。
  論文  参考訳（メタデータ） (2026-06-01T11:59:46Z)
• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• MergeDNA: Context-aware Genome Modeling with Dynamic Tokenization through Token Merging [65.07273789940116]
  本稿では,動的ゲノミクストークンと潜在トランスフォーマーをコンテキスト対応事前学習タスクで協調的に最適化する階層型アーキテクチャを提案する。 MergeDNAは3つの人気のあるDNAベンチマークと、微調整やゼロショット評価を伴う複数のマルチオミクスタスクにおいて優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-11-17T19:27:41Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は、言語モデル(LM)における多くの未理解の欠点と関連している。 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 本稿では,学習トークン分布と等価バイトレベル分布とのマッピングを確立するフレームワークであるByte-Token Representation Lemmaを紹介する。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• Efficient Transformers with Dynamic Token Pooling [11.28381882347617]
  言語モデルに動的プール機構を組み、セグメント境界を自己回帰的に予測する。 その結果、動的プーリングはバニラ変換器よりも高速かつ高精度であることがわかった。
  論文  参考訳（メタデータ） (2022-11-17T18:39:23Z)
• FSR: Accelerating the Inference Process of Transducer-Based Models by Applying Fast-Skip Regularization [72.9385528828306]
  典型的なトランスデューサモデルは、現在の音響状態に条件付き出力シーケンスをデコードします。 予測結果に含まれる空白のトークンの数は、すべてのトークンの90%近くを占める。 本稿では,トランスデューサが予測する空白位置とCTCモデルが予測する空白位置を一致させようとする高速スキップ正規化法を提案する。
  論文  参考訳（メタデータ） (2021-04-07T03:15:10Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。