論文の概要: Queueing, Predictions, and LLMs: Challenges and Open Problems

• arxiv url: http://arxiv.org/abs/2503.07545v1
• Date: Mon, 10 Mar 2025 17:12:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 18:54:07.363943
• Title: Queueing, Predictions, and LLMs: Challenges and Open Problems
• Title（参考訳）: キュー,予測,LLM:課題とオープンな課題
• Authors: Michael Mitzenmacher, Rana Shahout,
• Abstract要約: 待ち行列システムは、推定サービス時間などの機械学習予測を適用し、システム性能を改善する機会を提供する。 最近の研究は、一般的にシステム内のジョブ時間を最小限にすることを目的として、予測されたサービス時間を持つキューを探索している。 本稿では,スケジューリングにおける予測,すなわちLarge Language Model (LLM)システムの利用に関する重要な実例について考察する。
• 参考スコア（独自算出の注目度）: 9.22255012731159
• License:
• Abstract: Queueing systems present many opportunities for applying machine-learning predictions, such as estimated service times, to improve system performance. This integration raises numerous open questions about how predictions can be effectively leveraged to improve scheduling decisions. Recent studies explore queues with predicted service times, typically aiming to minimize job time in the system. We review these works, highlight the effectiveness of predictions, and present open questions on queue performance. We then move to consider an important practical example of using predictions in scheduling, namely Large Language Model (LLM) systems, which presents novel scheduling challenges and highlights the potential for predictions to improve performance. In particular, we consider LLMs performing inference. Inference requests (jobs) in LLM systems are inherently complex; they have variable inference times, dynamic memory footprints that are constrained by key-value (KV) store memory limitations, and multiple possible preemption approaches that affect performance differently. We provide background on the important aspects of scheduling in LLM systems, and introduce new models and open problems that arise from them. We argue that there are significant opportunities for applying insights and analysis from queueing theory to scheduling in LLM systems.
• Abstract（参考訳）: キューシステムは、推定サービス時間などの機械学習予測を適用して、システムパフォーマンスを改善する多くの機会を提供する。 この統合は、予測を効果的に活用してスケジュール決定を改善する方法について、多くのオープンな疑問を提起する。 最近の研究は、一般的にシステム内のジョブ時間を最小限にすることを目的として、予測されたサービス時間を持つキューを探索している。 我々はこれらの作業についてレビューし、予測の有効性を強調し、キューのパフォーマンスに関するオープンな質問を提示する。 そこで我々は,新たなスケジューリング課題を提示し,性能向上のための予測の可能性を強調するLarge Language Model (LLM)システムという,スケジューリングに予測を使用する重要な実践例を検討する。 特に,LLMの推論について考察する。 LLMシステムにおける推論要求(ジョブ)は本質的に複雑であり、可変推論時間、キー値(KV)記憶制限に制約された動的メモリフットプリント、性能に異なる影響を与える複数のプリエンプションアプローチがある。 LLMシステムにおけるスケジューリングの重要な側面を背景として、新しいモデルを導入し、それらから生じるオープンな問題を提起する。 LLMシステムにおいて、待ち行列理論からスケジューリングに洞察と分析を適用する大きな機会があると論じる。

関連論文リスト

• Multi-Bin Batching for Increasing LLM Inference Throughput [19.652542432683234]
  大規模言語モデル(LL)は、システムの効率性を向上させるために人気が高まっている。 リクエストはサーバ上のジョブをスケジューリングする重要なステップです。 リクエストは、しばしば異なる生成長を持ち、リソースの未利用を引き起こす。 我々は、この問題をキューイング理論の観点から形式化し、スループット制御ポリシーを設計することを目的とする。
  論文  参考訳（メタデータ） (2024-12-03T03:16:12Z)
• Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
  微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。 一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
  論文  参考訳（メタデータ） (2024-11-17T01:16:37Z)
• Don't Stop Me Now: Embedding Based Scheduling for LLMs [22.099820814682513]
  SRPT(Shortest Remaining Process Time)のようなサイズベースのスケジューリングアルゴリズムは、平均的な要求完了時間を削減することを目的としている。 LLMシステムにおけるメモリオーバーヘッドを考慮した予測型SRPT変種を提案する。
  論文  参考訳（メタデータ） (2024-10-01T19:51:07Z)
• A Survey of Low-bit Large Language Models: Basics, Systems, and Algorithms [34.818641985348805]
  大規模言語モデル (LLM) は自然言語処理において顕著な進歩を遂げている。 しかし、高価なメモリと計算の要求は、その実践的な展開に重大な課題をもたらしている。 低ビット量子化は、モデルパラメータのビット幅を減らすことでこれらの課題を緩和するための重要なアプローチとして現れている。
  論文  参考訳（メタデータ） (2024-09-25T07:38:02Z)
• LLMs can Schedule [3.435169201271934]
  ジョブショップスケジューリング問題(JSSP)は、生産プロセスの最適化において重要なハードルであり続けている。 本稿では,JSSPにおけるLarge Language Models(LLM)の可能性について検討する。 驚くべきことに,LLMに基づくスケジューリングは,他のニューラルアプローチに匹敵する性能を達成できることを示した。
  論文  参考訳（メタデータ） (2024-08-13T15:53:58Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient Querying [71.86163159193327]
  大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。 この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。 第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
  論文  参考訳（メタデータ） (2023-08-21T02:07:35Z)
• Quantifying the Cost of Learning in Queueing Systems [4.784875233446591]
  待ち行列における学習コスト (CLQ) はパラメータの不確実性に起因する平均待ち行列長の最大増加を定量化する新しい指標である。 本稿では,Lyapunov と Bandit 分析をブリッジし,幅広いアルゴリズムの保証を提供するCLQ の統一解析フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-15T14:50:12Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。