論文の概要: Dynamic Multi-Byte Prediction With Hierarchical Language Models

• arxiv url: http://arxiv.org/abs/2608.15454v2
• Date: Fri, 21 Aug 2026 23:00:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.869834
• Title: Dynamic Multi-Byte Prediction With Hierarchical Language Models
• Title（参考訳）: 階層型言語モデルを用いた動的マルチバイト予測
• Abstract要約: 並列に複数のバイトを生成するマルチバイト予測(MBP)を導入し、性能への影響を最小限に抑え、パラメータを追加せずに推論を高速化する。 まず、階層型LMの潜在トークン(セグメント)と整合する可変長予測ウィンドウを導入する。 第二に、因果関係に違反することなく並列なバイト予測を可能にする新しいアテンション・マスキング方式を実装した。
• 参考スコア（独自算出の注目度）: 12.377460054545944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Byte-level hierarchical language models (LMs) have recently emerged as a robust alternative to their popular counterparts that use subword tokenization. However, generating one byte at a time remains a bottleneck for inference speed. To address this, we introduce multi-byte prediction (MBP), which generates multiple bytes in parallel, speeding up inference with minimal performance impact and no additional parameters. MBP builds on the popular multi-token prediction (MTP) paradigm with two crucial innovations. First, we introduce a variable-length prediction window that aligns with the latent tokens, or segments, of a hierarchical LM. Second, we implement a novel attention-masking scheme that enables parallel byte prediction without violating causality. We show that multi-byte prediction strikes a Pareto-optimal trade-off across multiple generative tasks, instruction following, question answering, summarization, and machine translation, achieving the best trade-off between performance and inference throughput.
• Abstract（参考訳）: バイトレベルの階層型言語モデル(LM)は、最近、サブワードトークン化を使用する人気言語に代わる堅牢な代替として登場した。 しかし、一度に1バイトを生成することは推論速度のボトルネックのままである。 これを解決するために,並列に複数のバイトを生成するマルチバイト予測(MBP)を導入し,性能への影響を最小限に抑えて推論を高速化する。 MBPは、MTP(Multi-token Prediction)パラダイムを2つの重要なイノベーションで構築している。 まず,階層型LMの潜在トークンやセグメントと整合する可変長予測ウィンドウを提案する。 第二に、因果関係に違反することなく並列なバイト予測を可能にする新しいアテンション・マスキング方式を実装した。 マルチバイト予測は,複数の生成タスク,命令追従,質問応答,要約,機械翻訳にまたがる最適トレードオフを達成し,性能と推論スループットの最良のトレードオフを実現する。

関連論文リスト

• DOS: Dependency-Oriented Sampler for Masked Diffusion Language Models [2.3863052459868297]
  本稿では、トークンの更新を世代毎に通知するために、トークン間の依存関係を活用する、トレーニング不要なデコード戦略を提案する。 経験的結果は、DOSはコード生成と数学的推論の両方において、常に優れた性能を達成していることを示している。
  論文  参考訳（メタデータ） (2026-03-16T14:28:39Z)
• Parallel Token Prediction for Language Models [29.843197713818885]
  言語モデルにおける並列シーケンス生成のための普遍的なフレームワークである並列トークン予測(PTP)を提案する。 PTPは、サンプリング手順をモデルに組み込むことで、1つのトランスフォーマー呼び出しにおける複数の依存トークンを共同で予測する。 PTPは任意の自己回帰配列分布を表現できることを示す。
  論文  参考訳（メタデータ） (2025-12-24T18:46:55Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Frame-Stacked Local Transformers For Efficient Multi-Codebook Speech Generation [13.289870835946347]
  大規模言語モデル(LLM)に基づく音声生成モデルは、テキストトークンと基本的に異なる離散音響符号で動作する。 各段階において、モデルはNのコードブックエントリを共同で予測し、単純な並列予測アプローチに挑戦する依存関係を導入する必要がある。 これを解決するために階層戦略では、ローカルトランスフォーマー(LT)を使用して予測を洗練し、タイムステップ内依存関係をキャプチャする。 本稿では,計算効率や合成忠実度などのデプロイメントの優先順位に基づいて,デコード戦略を選択するための実践的ガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-09-23T21:31:00Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• L-MTP: Leap Multi-Token Prediction Beyond Adjacent Context for Large Language Models [95.53699156138435]
  本稿では,革新的なトークン予測手法である跳躍マルチトークン予測(L-MTP)を提案する。 従来のMTPとは異なり、L-MTPは中間トークンを戦略的にスキップし、1つのフォワードパスで非逐次トークンを予測する。 理論的には,L-MTPによる推論効率の向上の利点を実証する。
  論文  参考訳（メタデータ） (2025-05-23T05:59:46Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• SPEED: Speculative Pipelined Execution for Efficient Decoding [35.45955948053644]
  本稿では,現在のトークンと並行して複数の将来トークンを投機的に実行することで,推論効率を向上させるSPEEDを提案する。 パラメータ共有を使用するTransformerデコーダでは、並列に実行されるトークンのメモリ操作を償却することができる。 モデル精度に対する遅延低減の観点から,本手法の有効性を実証し,パラメータ共有によるより深いデコーダのトレーニングを最小限のランタイムオーバーヘッドで行う方法を示した。
  論文  参考訳（メタデータ） (2023-10-18T16:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。