Fugu-MT 論文翻訳(概要): Plato: Plan to Efficiently Decode for Large Language Model Inference

論文の概要: Plato: Plan to Efficiently Decode for Large Language Model Inference

arxiv url: http://arxiv.org/abs/2402.12280v2
Date: Sun, 13 Apr 2025 14:17:57 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-26 07:23:56.945614
Title: Plato: Plan to Efficiently Decode for Large Language Model Inference
Title（参考訳）: Plato: 大規模言語モデル推論を効率的にデコードする計画
Authors: Shuowei Jin, Xueshen Liu, Yongji Wu, Haizhong Zheng, Qingzhao Zhang, Atul Prakash, Matthew Lentz, Danyang Zhuo, Feng Qian, Z. Morley Mao,
Abstract要約: 提案するPlatoは,セマンティック・アウェア・並列デコードのためのアルゴリズムとシステムの共同設計手法である。 Platoは、サブプロブレムを論理的および因果関係に基づいて依存グラフに整理する。評価の結果,Platoは自己回帰復号化よりもスループットを68%向上することがわかった。
参考スコア（独自算出の注目度）: 17.26949231803779
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) have achieved remarkable success in natural language tasks, but their inference incurs substantial computational and memory overhead. To improve efficiency, parallel decoding methods like Skeleton-of-Thought (SoT) decompose prompts into sub-problems for concurrent processing. However, these methods significantly compromise answer quality by treating semantically linked sub-problems as independent. We propose Plato, a novel approach that co-designs algorithms and systems for semantic-aware parallel decoding. Plato leverages LLMs to organize sub-problems into a dependency graph based on logical and causal relationships, enabling concurrent decoding of non-dependent nodes while preserving answer coherence and quality. To further enhance efficiency, Plato pipelines planning and node decoding stages, implements a global context cache, and carefully structures node inference prompts to maximize key-value cache reuse and minimize overhead. Our evaluations show that Plato improves throughput by 68% over autoregressive decoding while achieving a 40% net win rate in answer quality. Compared to SoT, Plato demonstrates a remarkable 90% quality net-win rate. Ablation studies reveal that our pipeline design improves speedup by 29%, while our KV cache reuse optimization reduces overhead by 75%.
Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理において顕著な成功を収めたが、その推論は計算とメモリのオーバーヘッドを著しく引き起こす。効率を改善するために、Skeleton-of-Thought (SoT)のような並列デコーディング手法はプロンプトを並列処理のためにサブプロブレムに分解する。しかし、これらの手法は、意味的にリンクされたサブプロブレムを独立したものとして扱うことで、回答の品質を著しく損なう。提案するPlatoは,セマンティック・アウェア・並列デコードのためのアルゴリズムとシステムの共同設計手法である。 Plato は LLM を活用して,論理的および因果関係に基づく依存性グラフにサブプロブレムを整理する。効率をさらに高めるため、Platoパイプラインは計画とノード復号ステージを計画し、グローバルなコンテキストキャッシュを実装し、ノード推論プロンプトを慎重に構成し、キー値キャッシュの再利用を最大化し、オーバーヘッドを最小限にする。評価の結果,Platoは自己回帰復号化よりもスループットを68%向上し,回答品質の40%を達成できた。 SoTと比較すると、Platoは目覚ましい90%の品質のネットウィンレートを示している。アブレーション研究により,パイプライン設計ではスピードアップが29%向上し,KVキャッシュの再利用最適化ではオーバーヘッドが75%削減された。

関連論文リスト

Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。 APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
論文参考訳（メタデータ） (2025-04-21T22:29:02Z)
Striving for Faster and Better: A One-Layer Architecture with Auto Re-parameterization for Low-Light Image Enhancement [50.93686436282772]
我々は、視覚的品質と計算効率の両方から、画像エンハンサーの限界を掘り下げることを目指している。タスク要求を再考することにより、視覚的品質と計算効率がモデル学習と構造設計に対応する、明示的な接続を構築する。最終的には、単一の畳み込み層のみを使用して、優れた視覚的品質を維持しながら、効率的な低照度画像強調を実現する。
論文参考訳（メタデータ） (2025-02-27T08:20:03Z)
Hybrid Offline-online Scheduling Method for Large Language Model Inference Optimization [6.910292009760109]
大規模言語モデル(LLM)をデプロイするサービスシステムの推論最適化について検討する。推論最適化問題を混合整数プログラミング(MIP)モデルとして定式化し,ハイブリッドオフライン方式をソリューションとして提案する。 LLaMA-65BモデルとGSM8Kデータセットの実際のデータを用いた実験では、システム利用率が80.2%から89.1%に改善され、総推定時間は201.00から190.58秒に短縮された。
論文参考訳（メタデータ） (2025-02-14T16:00:00Z)
SRA-MCTS: Self-driven Reasoning Augmentation with Monte Carlo Tree Search for Code Generation [14.786100203787194]
大規模な言語モデルは、単純なコード生成タスクでは例外的なパフォーマンスを示しますが、複雑な問題に対処する上での課題に直面します。本稿では,高品質な中間推論経路を自律的に生成するモデルであるSRA-MCTSを提案する。我々の手法は、追加の監督を必要とせず、モデル自体を通して完全に機能する。
論文参考訳（メタデータ） (2024-11-17T12:31:04Z)
Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
論文参考訳（メタデータ） (2024-10-11T23:29:20Z)
Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。下流タスクへのLLM。我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文参考訳（メタデータ） (2024-09-30T10:48:20Z)
OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
論文参考訳（メタデータ） (2024-07-13T13:27:57Z)
EEE-QA: Exploring Effective and Efficient Question-Answer Representations [7.764629726412793]
疑問に答えるための現在のアプローチは、RoBERTaのような事前訓練された言語モデル(PLM)に依存している。この研究は、既存の質問応答符号化規約に挑戦し、より微細な表現を探求する。
論文参考訳（メタデータ） (2024-03-04T16:21:13Z)
Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。しかし、その大きなサイズは推論を遅く、計算的に高価にする。最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文参考訳（メタデータ） (2023-10-28T04:07:58Z)
Quality-Aware Translation Models: Efficient Generation and Quality Estimation in a Single Model [77.19693792957614]
そこで我々は,ニューラルネットワーク翻訳(NMT)モデルを用いて,その品質を学習し,その品質を推定する手法を提案する。我々は、単一パスの復号化の効率性よりも、品質向上や品質改善のアプローチよりも優れた品質向上を得る。
論文参考訳（メタデータ） (2023-10-10T15:33:51Z)
Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文参考訳（メタデータ） (2022-10-31T09:46:26Z)
Communication-Efficient Robust Federated Learning with Noisy Labels [144.31995882209932]
フェデレーテッド・ラーニング(FL)は、分散した位置データの上で、将来性のあるプライバシ保護機械学習パラダイムである。 FLにおける雑音ラベルの効果を緩和する学習に基づく再重み付け手法を提案する。提案手法は,複数の実世界のデータセットにおいて,各種ベースラインと比較して優れた性能を示した。
論文参考訳（メタデータ） (2022-06-11T16:21:17Z)
An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
論文参考訳（メタデータ） (2021-08-19T07:03:22Z)
Distributed Learning and Democratic Embeddings: Polynomial-Time Source Coding Schemes Can Achieve Minimax Lower Bounds for Distributed Gradient Descent under Communication Constraints [46.17631511884969]
我々は、n次元ユークリッド空間においてベクトルを圧縮する問題を考える。数値化器の被覆効率が次元独立であるか、あるいは非常に弱い対数依存であるという意味では、民主主義的および民主的に近いソースコーディングスキームが(ほぼ)最適であることを示す。分散最適化アルゴリズムDGD-DEFを提案する。このアルゴリズムは,提案した符号化戦略を用いて,(ほぼ)定数要素内における最小収束率を実現する。
論文参考訳（メタデータ） (2021-03-13T00:04:11Z)
Reversible Action Design for Combinatorial Optimization with Reinforcement Learning [35.50454156611722]
強化学習(rl)は、これらの問題に取り組むための新しいフレームワークとして最近登場した。最先端の実証性能を示すだけでなく、様々な種類のCOPに一般化する汎用RLフレームワークを提案します。
論文参考訳（メタデータ） (2021-02-14T18:05:42Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)
AutoPhase: Juggling HLS Phase Orderings in Random Forests with Deep Reinforcement Learning [17.584552398664737]
AutoPhaseは、プログラムを受け取り、深い強化学習を使用して、実行時間を最小限にするコンパイルパスのシーケンスを見つけるフレームワークである。本稿では,-O3コンパイラフラグを使用する場合と比較して,AutoPhaseは回路性能を28%向上することを示す。既存の最先端のソリューションとは異なり、我々の深層強化学習ソリューションは、実際のベンチマークを一般化する有望な結果を示している。
論文参考訳（メタデータ） (2020-03-02T05:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。