論文の概要: BATON: Enhancing Batch-wise Inference Efficiency for Large Language Models via Dynamic Re-batching

• arxiv url: http://arxiv.org/abs/2410.18701v1
• Date: Thu, 24 Oct 2024 12:53:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:49:14.844106
• Title: BATON: Enhancing Batch-wise Inference Efficiency for Large Language Models via Dynamic Re-batching
• Title（参考訳）: BATON: 動的再バッチによる大規模言語モデルのバッチワイズ推論効率の向上
• Authors: Peizhuang Cong, Qizhi Chen, Haochen Zhao, Tong Yang,
• Abstract要約: 本稿では,処理バッチを動的に調整し,効率的なバッチ単位のLLM推論手法であるBATONを提案する。 最先端のソリューションであるOrcaと比較して、BATONはクエリ処理を最大1.75倍改善する。
• 参考スコア（独自算出の注目度）: 4.610983384440473
• License:
• Abstract: The advanced capabilities of Large Language Models (LLMs) have inspired the development of various interactive web services or applications, such as ChatGPT, which offer query inference services for users. Unlike traditional DNN model, the inference of LLM entails different iterations of forward computation for different queries, which result in efficiency challenges for existing run-to-completion batch-wise inference. Hence, some methods refine batch-wise inference to iteration-level by duplicating all nonlinear layers of LLM. However, this approach not only increases resource usage but also introduces idle computations to the batch due to the prefilling of newly added queries. Therefore, we propose BATON, an efficient batch-wise LLM inference scheme by dynamically adjusting processing batch, which can achieve near-zero idle computations without incurring additional resource consumption. To do so, BATON 1) shapes the vectors involved in the inference of the newly inserted query and processing batch to align dimensions and generates a new attention mask based on vector shaping to ensure inference correctness, which enables query inserting without consuming additional resource; 2) embeds prefilled Keys and Values of the new query into the KV_Cache of the processing batch by leveraging the prefilling and decoding separation mechanism, eliminating idle computations to the batch introduced by the prefilling process of the new query. Experimental results show that compared to the state-of-the-art solution Orca, BATON improves query processing by up to 1.75 times.
• Abstract（参考訳）: LLM(Large Language Models)の高度な能力は、ChatGPT(リンク)のような様々な対話型Webサービスやアプリケーションの開発にインスピレーションを与えている。 従来のDNNモデルとは異なり、LLMの推論は異なるクエリに対する前方計算の異なるイテレーションを必要とするため、既存の実行対補完のバッチワイズ推論では効率上の課題が生じる。 したがって、LLMのすべての非線形層を複製することにより、バッチワイズ推論をイテレーションレベルに洗練する手法もある。 しかし、このアプローチはリソース使用量を増加させるだけでなく、新たに追加されたクエリのプリフィルのため、バッチにアイドル計算を導入する。 そこで本研究では,処理バッチを動的に調整することで,資源消費を伴わずにほぼゼロのアイドル計算を実現できる,効率的なバッチ単位のLCM推論手法であるBATONを提案する。 そうするためには、バトン 1) 新たに挿入されたクエリおよび処理バッチの推論に関わるベクターを形作り、次元を整列させ、ベクトルシェーピングに基づく新しいアテンションマスクを生成して、推論の正確性を確保することにより、追加のリソースを消費することなくクエリ挿入を可能にする。 2) 処理バッチのKV_Cacheに新しいクエリのプリフィルドキーと値を埋め込むと、プリフィルとデコード分離機構を利用し、新しいクエリのプリフィルプロセスによって導入されたバッチに対するアイドル計算をなくす。 実験の結果、最先端のOrcaと比較して、BATONはクエリ処理を最大1.75倍改善した。

関連論文リスト

• Continual LLaVA: Continual Instruction Tuning in Large Vision-Language Models [93.5327725085853]
  連続LLaVA(Continuous LLaVA)は、LVLMにおける連続的な命令チューニングに適したリハーサルフリーな手法である。 実験により,提案した連続LLaVAは,連続的な命令チューニング過程における忘れを著しく減らし,従来の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-11-04T19:55:32Z)
• Divide, Reweight, and Conquer: A Logit Arithmetic Approach for In-Context Learning [19.16587730306472]
  大規模言語モデル(LLM)の重要な機能として、インコンテキスト学習(ICL)が登場 複数の実演のロジットベースアンサンブルを用いてICLを強化する新しいフレームワークであるLogit Arithmetic Reweighting Approach (LARA)を提案する。
  論文  参考訳（メタデータ） (2024-10-14T01:34:16Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Auto-Demo Prompting: Leveraging Generated Outputs as Demonstrations for Enhanced Batch Prompting [0.8238423959893132]
  自動デモ(Auto-Demo Prompting)は、初期質問からの問合せペアを、その後の回答推論の実証としてバッチ内で活用する、新しいアプローチである。 本手法は,バッチプロンプトと少数ショットプロンプトのギャップを効果的に埋め,トークン使用率のわずかな妥協だけで性能を向上する。
  論文  参考訳（メタデータ） (2024-10-02T16:34:40Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Efficient Prompt Caching via Embedding Similarity [26.456212783693545]
  類似度を埋め込んだ単ラウンド質問問合せタスクにおけるプロンプトキャッシングの予測精度に着目した。 そこで本研究では, 蒸留法を用いて既存の埋込物を微調整し, より良い予測を行う方法を提案する。 また、トレーニングされたモデルが従来の埋め込みモデルよりもキャッシング効率が良いことを示すシミュレーションも行います。
  論文  参考訳（メタデータ） (2024-02-02T06:34:11Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• BatchGFN: Generative Flow Networks for Batch Active Learning [80.73649229919454]
  BatchGFNは、生成フローネットワークを使用してバッチ報酬に比例したデータポイントのセットをサンプリングする、プールベースのアクティブラーニングのための新しいアプローチである。 提案手法は,おもちゃの回帰問題において,1点当たり1回の前方通過で推定時間に近距離最適効用バッチをサンプリングすることを可能にした。
  論文  参考訳（メタデータ） (2023-06-26T20:41:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。