論文の概要: Teola: Towards End-to-End Optimization of LLM-based Applications

• arxiv url: http://arxiv.org/abs/2407.00326v3
• Date: Mon, 31 Mar 2025 13:33:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 15:20:30.315135
• Title: Teola: Towards End-to-End Optimization of LLM-based Applications
• Title（参考訳）: Teola: LLMベースのアプリケーションのエンドツーエンド最適化を目指して
• Authors: Xin Tan, Yimin Jiang, Yitao Yang, Hong Xu,
• Abstract要約: 大規模言語モデル(LLM)ベースのアプリケーションは、エンドツーエンドのレイテンシに寄与する。 既存のフレームワークでは,タスクモジュールによる粗粒度のオーケストレーションが採用されている。 タスクプリミティブを基本単位として,各クエリのワークフローをプリミティブレベルのデータフローグラフとして表現する,詳細なエンドツーエンドオーケストレーションを提案する。
• 参考スコア（独自算出の注目度）: 13.478509565946354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM)-based applications consist of both LLM and non-LLM components, each contributing to the end-to-end latency. Despite great efforts to optimize LLM inference, end-to-end workflow optimization has been overlooked. Existing frameworks employ coarse-grained orchestration with task modules, which confines optimizations to within each module and yields suboptimal scheduling decisions. We propose fine-grained end-to-end orchestration, which utilizes task primitives as the basic units and represents each query's workflow as a primitive-level dataflow graph. This explicitly exposes a much larger design space, enables optimizations in parallelization and pipelining across primitives of different modules, and enhances scheduling to improve application-level performance. We build Teola, a novel orchestration framework for LLM-based applications that implements this scheme. Comprehensive experiments show that Teola can achieve up to 2.09x speedup over existing systems across various popular LLM applications. The code is available at https://github.com/NetX-lab/Ayo.
• Abstract（参考訳）: 大規模言語モデル(LLM)ベースのアプリケーションは、LLMコンポーネントと非LLMコンポーネントの両方で構成され、それぞれがエンドツーエンドのレイテンシに寄与する。 LLM推論の最適化に多大な努力を払っているにも関わらず、エンドツーエンドのワークフロー最適化は見過ごされている。 既存のフレームワークでは,タスクモジュールによる粗粒度のオーケストレーションが採用されている。 タスクプリミティブを基本単位として,各クエリのワークフローをプリミティブレベルのデータフローグラフとして表現する,詳細なエンドツーエンドオーケストレーションを提案する。 これは、はるかに大きな設計空間を明示的に公開し、異なるモジュールのプリミティブ間の並列化とパイプライン化の最適化を可能にし、スケジューリングを強化してアプリケーションレベルのパフォーマンスを向上させる。 私たちは、このスキームを実装したLLMベースのアプリケーションのための、新しいオーケストレーションフレームワークであるTeolaを構築します。 総合的な実験により、Teolaは様々なLLMアプリケーションにまたがる既存のシステムの最大2.09倍のスピードアップを実現可能であることが示されている。 コードはhttps://github.com/NetX-lab/Ayoで公開されている。

関連論文リスト

• Improving the End-to-End Efficiency of Offline Inference for Multi-LLM Applications Based on Sampling and Simulation [23.318601470116498]
  単一ノードマルチGPU環境におけるマルチLLMアプリケーションのオフラインエンドツーエンド推論効率を改善することを目的としている。 そこで本研究では,モデル実行時間を推定するためのサンプリング-then-simulation法を提案する。 3つのアプリケーションと混在アプリケーションの実験は、SamuLLMが1.0-2.4$times$ end-to-endのスピードアップを達成できることを示している。
  論文  参考訳（メタデータ） (2025-03-21T06:56:35Z)
• Optimizing Model Selection for Compound AI Systems [76.69936664916061]
  本稿では,複合システムにおけるモデル選択のための効率的なフレームワークを提案する。 1つのモジュールを反復的に選択し、最も高いモジュールレベルのパフォーマンスを持つモデルを割り当てます。 すべてのモジュールで同じLLMを使用する場合と比較して、5%-70%の精度向上が期待できる。
  論文  参考訳（メタデータ） (2025-02-20T18:36:25Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,新しいパイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法に比べて,プリフィルスループットが平均21%向上していることが判明した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• HyperDPO: Hypernetwork-based Multi-Objective Fine-Tuning Framework [11.342075103251576]
  HyperDPOは、DPO(Direct Preference Optimization)技術を拡張するハイパーネットワークベースのアプローチである。 DPOのBradley-Terry-LuceモデルをPockett-Luceモデルに置き換えることで、我々のフレームワークは幅広いMOFTタスクを処理できる。
  論文  参考訳（メタデータ） (2024-10-10T19:06:39Z)
• Optimizing Token Usage on Large Language Model Conversations Using the Design Structure Matrix [49.1574468325115]
  大規模言語モデルは、多くの分野やタスクにおいてユビキタスになる。 トークンの使用を減らすこと、短いコンテキストウィンドウ、限られた出力サイズ、トークンの取り込みと生成に関連するコストといった課題を克服する必要がある。 この作業は、エンジニアリング設計の分野からLLM会話最適化にデザイン構造マトリックスをもたらす。
  論文  参考訳（メタデータ） (2024-10-01T14:38:36Z)
• ULLME: A Unified Framework for Large Language Model Embeddings with Generation-Augmented Learning [72.90823351726374]
  我々は,LLM間の双方向の注目を可能にする,柔軟でプラグアンドプレイな実装であるLULME(Unified framework for Large Language Model Embedding)を紹介した。 また,テキスト埋め込みタスクのLLMを向上する新しい微調整手法であるGRL(Generation-augmented Representation Learning)を提案する。 フレームワークの柔軟性と有効性を示すために、異なるバックボーンアーキテクチャを持つULLMEから事前訓練された3つのモデルをリリースする。
  論文  参考訳（メタデータ） (2024-08-06T18:53:54Z)
• ScaleLLM: A Resource-Frugal LLM Serving Framework by Optimizing End-to-End Efficiency [20.33467627548677]
  大規模言語モデル(LLM)は人気が高まり、商用アプリケーションで広く使われている。 LLMサービスシステムにおいて、エンドツーエンドのレイテンシに影響を及ぼす大きなボトルネックを特定するために、詳細な分析を行う。 次に,資源効率の高いLLMサービスのための最適化システムであるScaleLLMを提案する。
  論文  参考訳（メタデータ） (2024-07-23T23:37:29Z)
• Parrot: Efficient Serving of LLM-based Applications with Semantic Variable [11.894203842968745]
  Parrotは、LLMベースのアプリケーションのエンドツーエンドエクスペリエンスに焦点を当てたサービスシステムである。 Semantic Variableはリクエストのプロンプトで入出力変数に注釈を付け、複数のLLMリクエストを接続する際にデータパイプラインを生成する。
  論文  参考訳（メタデータ） (2024-05-30T09:46:36Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Dissecting the Runtime Performance of the Training, Fine-tuning, and Inference of Large Language Models [26.2566707495948]
  大規模言語モデル(LLM)は、学術と産業の両方で大きく進歩している。 我々は,事前学習,微調整,LLMを異なるサイズで提供する場合のエンドツーエンド性能をベンチマークする。 次に,LLMにおける計算処理や通信演算子など,サブモジュールの詳細なランタイム解析を行う。
  論文  参考訳（メタデータ） (2023-11-07T03:25:56Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
  本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。 より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。 ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
  論文  参考訳（メタデータ） (2023-04-17T09:27:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。