論文の概要: Pre$^3$: Enabling Deterministic Pushdown Automata for Faster Structured LLM Generation

• arxiv url: http://arxiv.org/abs/2506.03887v1
• Date: Wed, 04 Jun 2025 12:30:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.321123
• Title: Pre$^3$: Enabling Deterministic Pushdown Automata for Faster Structured LLM Generation
• Title（参考訳）: Pre$^3$: 高速構造LDM生成のための決定論的プッシュダウンオートマタの実現
• Authors: Junyi Chen, Shihao Bai, Zaijun Wang, Siyu Wu, Chuheng Du, Hailong Yang, Ruihao Gong, Shengzhong Liu, Fan Wu, Guihai Chen,
• Abstract要約: 既存のLR(1)文法をプッシュダウンオートマトン(PDA)にパースする方法 決定論的プッシュダウンオートマトン(DPDA)を利用したPre$3$を提案する。 Pre$3$は、標準のLLM推論フレームワークにシームレスに統合できる。
• 参考スコア（独自算出の注目度）: 32.84102573817514
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Extensive LLM applications demand efficient structured generations, particularly for LR(1) grammars, to produce outputs in specified formats (e.g., JSON). Existing methods primarily parse LR(1) grammars into a pushdown automaton (PDA), leading to runtime execution overhead for context-dependent token processing, especially inefficient under large inference batches. To address these issues, we propose Pre$^3$ that exploits deterministic pushdown automata (DPDA) to optimize the constrained LLM decoding efficiency. First, by precomputing prefix-conditioned edges during the preprocessing, Pre$^3$ enables ahead-of-time edge analysis and thus makes parallel transition processing possible. Second, by leveraging the prefix-conditioned edges, Pre$^3$ introduces a novel approach that transforms LR(1) transition graphs into DPDA, eliminating the need for runtime path exploration and achieving edge transitions with minimal overhead. Pre$^3$ can be seamlessly integrated into standard LLM inference frameworks, reducing time per output token (TPOT) by up to 40% and increasing throughput by up to 36% in our experiments. Our code is available at https://github.com/ModelTC/lightllm.
• Abstract（参考訳）: 大規模なLLMアプリケーションは、特にLR(1)文法において、特定のフォーマット(例えばJSON)で出力を生成するために、効率的な構造化世代を要求する。 既存の手法は主にLR(1)文法をプッシュダウンオートマトン(PDA)に解析し、特に大規模な推論バッチでは実行時の実行オーバーヘッドを発生させる。 これらの問題に対処するために,決定論的プッシュダウンオートマトン(DPDA)を利用して制約付きLLM復号効率を最適化するPre$^3$を提案する。 第一に、プレプロセッシング中にプレコンディション付きエッジをプリコンプリートすることで、Pre$^3$は事前のエッジ分析を可能にし、並列遷移処理を可能にする。 第二に、プレフィックス条件付きエッジを活用することにより、Pre$^3$はLR(1)遷移グラフをDPDAに変換する新しいアプローチを導入し、ランタイムパス探索の必要性を排除し、最小限のオーバーヘッドでエッジ遷移を実現する。 Pre$3$は、標準のLCM推論フレームワークにシームレスに統合することができ、出力トークン当たりの時間(TPOT)を最大40%削減し、スループットを最大36%向上します。 私たちのコードはhttps://github.com/ModelTC/lightllm.comで利用可能です。

関連論文リスト

• Position-Aware Depth Decay Decoding ($D^3$): Boosting Large Language Model Inference Efficiency [26.173523821684306]
  トークン配置対応層スキップフレームワークを提案し,性能を維持しつつ1.5倍の演算を効率よく節約する。 7 sim 70$のパラメータを持つ大規模言語モデルの実験では、D3$は完全な推論パイプラインと比較して平均1.5倍のスピードアップを達成することができる。
  論文  参考訳（メタデータ） (2025-03-11T15:15:54Z)
• Towards Efficient Automatic Self-Pruning of Large Language Models [55.90119819642064]
  トレーニング後の構造化プルーニングは、トレーニングを必要とせずに大規模言語モデルを熟成する有望なソリューションである。 この問題を緩和する鍵は、各レイヤのプルーニング率を正確に決定することにある、と我々は主張する。 我々は、レイヤワイドプルーニングレートを効率的に検索するLLMのためのエンドツーエンドの自動自動プルーニングフレームワークである$textbfSelf-Prunerを紹介した。
  論文  参考訳（メタデータ） (2025-02-20T09:59:50Z)
• HSR-Enhanced Sparse Attention Acceleration [19.776342074253435]
  大規模言語モデル(LLM)における注意計算を高速化する新しい手法を提案する。 我々は,従来のSoftmaxアテンションとReLUアテンションの両方において,アテンションメカニズム内の固有空間を利用する。 提案手法は,Softmaxの注意を確実に無視できる誤差を導入するのみである。
  論文  参考訳（メタデータ） (2024-10-14T05:18:02Z)
• Enabling Efficient On-Device Fine-Tuning of LLMs Using Only Inference Engines [17.539008562641303]
  大規模言語モデル(LLM)は現在、大規模なクラウドサーバ上で事前トレーニングされ、微調整されている。 次のフロンティアはLLMパーソナライズであり、ファンデーションモデルをユーザ/タスク固有のデータで微調整することができる。 リソース制約のあるエッジデバイスの微調整は、かなりのメモリと計算要求のために大きな課題となる。
  論文  参考訳（メタデータ） (2024-09-23T20:14:09Z)
• Turning Trash into Treasure: Accelerating Inference of Large Language Models with Token Recycling [24.04649159686283]
  投機的復号化(英: Speculative decoding)は、推測と検証のパラダイムを通じて推論を加速するアプローチである。 トケンリサイクルは、候補トークンを隣接行列に格納し、幅優先探索アルゴリズムを用いる。 既存の列車なしの手法を30%上回り、広く認められた訓練方法さえも25%上回っている。
  論文  参考訳（メタデータ） (2024-08-16T12:20:56Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [19.167604927651073]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Optimizing LLM Queries in Relational Data Analytics Workloads [50.95919232839785]
  バッチデータ分析は、Large Language Models(LLMs)の急成長するアプリケーションである LLMは、分類、エンティティ抽出、翻訳などの幅広い自然言語タスクを、大規模なデータセット上で実行可能にする。 本稿では,LLMコールによるリレーショナルデータ解析処理のコストを大幅に削減できる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。