Fugu-MT 論文翻訳(概要): Fairness in Serving Large Language Models

論文の概要: Fairness in Serving Large Language Models

arxiv url: http://arxiv.org/abs/2401.00588v2
Date: Wed, 5 Jun 2024 06:43:16 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 03:45:21.301988
Title: Fairness in Serving Large Language Models
Title（参考訳）: 大規模言語モデルの実現における公正性
Authors: Ying Sheng, Shiyi Cao, Dacheng Li, Banghua Zhu, Zhuohan Li, Danyang Zhuo, Joseph E. Gonzalez, Ion Stoica,
Abstract要約: 本稿では,処理された入出力トークンの数を考慮したコスト関数に基づくサービスフェアネスの定義を提案する。本稿では,新たなスケジューリングアルゴリズムであるVirtual Counter Token (VTC)を提案する。サービススケジューラの2倍の厳しい上限を証明し、作業保守の要件に準拠します。
参考スコア（独自算出の注目度）: 45.81800239353461
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: High-demand LLM inference services (e.g., ChatGPT and BARD) support a wide range of requests from short chat conversations to long document reading. To ensure that all client requests are processed fairly, most major LLM inference services have request rate limits, to ensure that no client can dominate the request queue. However, this rudimentary notion of fairness also results in under-utilization of the resources and poor client experience when there is spare capacity. While there is a rich literature on fair scheduling, serving LLMs presents new challenges due to their unpredictable request lengths and their unique batching characteristics on parallel accelerators. This paper introduces the definition of LLM serving fairness based on a cost function that accounts for the number of input and output tokens processed. To achieve fairness in serving, we propose a novel scheduling algorithm, the Virtual Token Counter (VTC), a fair scheduler based on the continuous batching mechanism. We prove a 2x tight upper bound on the service difference between two backlogged clients, adhering to the requirement of work-conserving. Through extensive experiments, we demonstrate the superior performance of VTC in ensuring fairness, especially in contrast to other baseline methods, which exhibit shortcomings under various conditions. The reproducible code is available at https://github.com/Ying1123/VTC-artifact
Abstract（参考訳）: オンデマンドLLM推論サービス(例:ChatGPT、BARD)は、短いチャットチャットから長いドキュメント読み込みまで、幅広いリクエストをサポートする。すべてのクライアントリクエストが公平に処理されることを保証するため、ほとんどの主要なLCM推論サービスはリクエストレート制限を持ち、クライアントがリクエストキューを支配できないことを保証します。しかし、この公平さという初歩的な概念は、余分なキャパシティがある場合、リソースの過小評価とクライアントエクスペリエンスの低下をもたらす。フェアスケジューリングには豊富な文献があるが、LLMは予測不可能な要求長と並列アクセラレータ上での独自のバッチ特性のために、新たな課題を提示している。本稿では,処理された入力および出力トークンの数を考慮に入れたコスト関数に基づいて,LLMサービスフェアネスの定義を提案する。サービスにおける公平性を達成するために,連続バッチ機構に基づく公平なスケジューラであるVirtual Token Counter (VTC)を提案する。 2つのバックログ化されたクライアント間のサービス差に2倍の厳しい上限があることを証明します。様々な条件下での欠点を示す他のベースライン法と対照的に, 公平性を確保するために, VTCの優れた性能を示す。再現可能なコードはhttps://github.com/Ying1123/VTC-artifactで入手できる。

関連論文リスト

SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
論文参考訳（メタデータ） (2024-06-25T07:45:00Z)
Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文参考訳（メタデータ） (2024-06-19T00:28:58Z)
Scaling Laws for Discriminative Classification in Large Language Models [5.56747083508457]
言語モデリングタスクを識別的分類タスクとして再定義することで、LLMを使用して顧客サポートの支持者を増強できるシステムを提案する。オフラインとオンラインの両方の実験の結果を提示し,実験システムのオフラインゲインと統計的に有意なオンラインリフトを観測した。モデルのサイズ、レイテンシ、正確性に関するトレードオフの空間について議論し、将来的なアプリケーションを提案することで、私たちは締めくくっています。
論文参考訳（メタデータ） (2024-05-24T17:58:38Z)
Preble: Efficient Distributed Prompt Scheduling for LLM Serving [8.706905652975554]
プロンプトの多くの部分はリクエスト間で反復的であり、その注意結果は再利用できる。本稿では,プロンプト共有をターゲットとし最適化する最初の分散LLMサービスプラットフォームであるPrebleを提案する。 Prebleは、最先端の平均レイテンシを1.5Xから14.5X、p99を2Xから10Xで上回る。
論文参考訳（メタデータ） (2024-05-08T06:30:58Z)
Token-Efficient Leverage Learning in Large Language Models [13.830828529873056]
大規模言語モデル(LLM)は様々なタスクで優れていますが、高リソースのシナリオではより良く機能しています。データ不足と特定のタスクにLLMを適用することの難しさは、この課題を複雑にしている。本稿では,Token-Efficient Leverage Learning (TELL) と呼ばれる方法論の合理化実装を提案する。
論文参考訳（メタデータ） (2024-04-01T04:39:44Z)
Apparate: Rethinking Early Exits to Tame Latency-Throughput Tensions in ML Serving [11.578175527228769]
本稿では,推論を行う粒度を変化させることでスループット-レイテンシトレードオフに取り組むための代替戦略について検討する。本稿では,機械学習モデルにおける早期出口(EE)を自動的に適用し,管理するシステムであるApparateを紹介する。 EEがもたらす時間的なオーバーヘッドと正確性に対処するために、Apparateは出口を再利用して継続的なフィードバックを提供する。
論文参考訳（メタデータ） (2023-12-08T21:49:09Z)
OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文参考訳（メタデータ） (2023-05-24T10:08:04Z)
$k$NN Prompting: Beyond-Context Learning with Calibration-Free Nearest Neighbor Inference [75.08572535009276]
In-Context Learning (ICL) は、ターゲットタスクを、インコンテキストのデモンストレーションで条件付のプロンプト完了として定式化する。 $k$NN 最初のクエリ LLM を分散表現のトレーニングデータで実行し、近くの隣人を参照してテストインスタンスを予測する。数ショットのシナリオでは、最先端のキャリブレーションベースの手法よりも大幅に優れています。
論文参考訳（メタデータ） (2023-03-24T06:16:29Z)
Eventual Discounting Temporal Logic Counterfactual Experience Replay [42.20459462725206]
標準のRLフレームワークは、最大限に満足するポリシーを見つけるには筋が通らない。我々は、最終的に割引と呼ばれる手法を用いて、新しい値関数ベースのプロキシを開発する。第2に、政治外のデータを生成するための新しい体験再生手法を開発する。
論文参考訳（メタデータ） (2023-03-03T18:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。