論文の概要: Talaria: Session-Aware Serverless Serving of Hundred-Billion-Parameter LLMs

• arxiv url: http://arxiv.org/abs/2607.17181v1
• Date: Sun, 19 Jul 2026 10:37:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.387697
• Title: Talaria: Session-Aware Serverless Serving of Hundred-Billion-Parameter LLMs
• Title（参考訳）: Talaria: セッション対応のサーバレスサービス
• Abstract要約: Talariaはサーバレスのマルチモデルサービスシステムで、セッション継続を共同配置と承認の判断にする。 3つのモデルで30のSWE-Benchモデルセッションを再生します。
• 参考スコア（独自算出の注目度）: 0.4815673045037477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Serverless multi-model LLM systems multiplex popularity-skewed model catalogs over shared GPU pools, yet typically schedule each request independently. Tool-using agents break this abstraction: a session repeatedly calls an LLM across short tool gaps, carries a long reusable KV prefix, and is judged by session completion time (SCT). Load-only routing can separate a continuation from both its model and KV state, while round-based model multiplexing can delay even a correctly placed continuation until the target model's next slot. Both failures are especially costly for hundred-billion-parameter models: their weights constrain residency, while long-context KV is expensive to reconstruct or move. We present Talaria, a session-aware serverless multi-model serving system that makes session continuity a joint placement-and-admission decision. Its router ranks placements by model residency, KV locality, and instance pressure, while soft reservations account for likely returns in the last serving instance's admission budget. Session-prefill (SP) admits budget-eligible continuations before the active model slot closes. An instance-local substrate keeps HBM addresses stable, preserves host-restorable KV, and stages weights across model switches. On a single TP=8 server, we replay 30 SWE-Bench model-sessions (960 calls) over three models, each with more than 100B total parameters. Against an otherwise identical round scheduler with SP, host-KV restoration, and D2D staging disabled, Talaria cuts p50 SCT from 1000 s to 189 s and p95 from 2296 s to 867 s, speedups of 5.3x and 2.6x.
• Abstract（参考訳）: サーバレスのマルチモデルLLMシステムは、共有GPUプール上で人気度の高いモデルカタログを多重化するが、通常、それぞれの要求を独立してスケジュールする。 セッションは、短いツールギャップにわたって繰り返しLLMを呼び、長い再利用可能なKVプレフィックスを持ち、セッション完了時間(SCT)によって判断される。 ロードオンリーのルーティングは、そのモデルとKV状態の両方から継続を分離することができるが、ラウンドベースモデルの多重化は、ターゲットモデルの次のスロットまで正しく配置された継続を遅らせることもできる。 どちらの失敗も100億パラメータモデルでは特にコストがかかる。その重みは常駐を制限し、長いコンテキストのKVは再構築や移動に費用がかかる。 本稿では,セッション継続性を共同配置・受入決定とするセッション対応サーバレスマルチモデルサービスシステムであるTalariaを紹介する。 ルータはモデル常駐、KVローカリティ、インスタンスプレッシャーによって配置をランク付けし、ソフト予約は前回のインスタンスの入場予算のリターンを考慮に入れている。 Session-prefill (SP) は、アクティブモデルスロットが終了する前に、予算に適合する継続を認める。 インスタンスローカル基板はHBMアドレスを安定に保ち、ホスト復元可能なKVを保持し、モデルスイッチ間で重みをステージ化する。 1つのTP=8サーバ上で、3つのモデルで30のSWE-Benchモデルセッション(960コール)を再生します。 SP、ホスト-KVの復元、D2Dのステージングを無効にしたラウンドスケジューラに対して、タラリアはp50 SCTを1000 sから189 s、p95を2296 sから867 s、スピードアップは5.3xと2.6xにカットした。

関連論文リスト

• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• Benchmarking LLM-Guided Control-Plane Policies for Backend Fault Isolation in HAProxy [0.0]
  我々は、大規模言語モデルが静的ルーティングポリシーそのものを置き換えることができるかどうかを問う。 3B 能動パラメータの近傍で能動閾値を求める。 その上、アーキテクチャに関係なく、すべてのモデルは、クライアントが認識した5xxエラーの88%近くを飽和させます。
  論文  参考訳（メタデータ） (2026-08-11T06:15:20Z)
• DeltaServe: Host-Agnostic Co-Serving of Inference and Fine-Tuning for LLMs [10.721488749478416]
  LLMサービスシステムは、厳格なレイテンシターゲットを満たすためにピークロードのためにプロビジョニングされ、トラフィックがピーク以下に落ちると、かなりのGPU計算のアイドルが残る。 我々は、このアイドル推論能力をLoRA微調整スループットに変換するホスト非依存の協調型設計であるDeltaServeを提案する。
  論文  参考訳（メタデータ） (2026-07-30T21:20:21Z)
• Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models [50.733497395381164]
  Agoraは、インターネットグレードリンク上の帯域効率の高いパイプライン並列モデルシャーディングと、複数パーティのフォールトトレラントな集団操作を組み合わせる。 Pluralis-8BはFineWeb-Eduの500Bトークン上の8.6B-パラメータモデルのオープンで無許可の事前トレーニング実行である。
  論文  参考訳（メタデータ） (2026-07-14T23:32:18Z)
• PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs [0.8460698440162889]
  本稿では,ブロックテーブル型デコードアテンションエンジンPersistentKVとページ認識スケジューリング研究について述べる。 Per Per PersistentKVマップはKVヘッドグループによって動作し、ネイティブページテーブル上で直接実行される。 5つのホールドアウト種子は、バイモーダル、均一、Zipfライクなワークロードにおいて、平均壁の復号化スループットを1.04xから1.08x改善することを示した。
  論文  参考訳（メタデータ） (2026-06-25T06:56:43Z)
• Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
  参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。 このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。 我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
  論文  参考訳（メタデータ） (2026-05-22T10:24:57Z)
• Asymmetric Virtual Memory Paging for Hybrid Mamba-Transformer Inference [0.0]
  Jambaのようなハイブリッド言語モデルは、注意層とステートスペースモデル(SSM)を混合します。 統一プールパッドSSMは、ページサイズが7.3倍になる。 非対称仮想メモリページング(AVMP)は、2つのキャッシュタイプを仮想アドレス空間の後方にある物理的に異なるプールに分離する。
  論文  参考訳（メタデータ） (2026-05-21T12:37:34Z)
• Dual-Pool Token-Budget Routing for Cost-Efficient and Reliable LLM Serving [9.457255218406333]
  プロダクションvLLMフリートは通常、最悪のコンテキスト長に対して各インスタンスをプロビジョニングする。 実際には、80-95%のリクエストは短いが、長いコンテキストに最適化された設定の下で提供される。 本稿では,同種艦隊を2つの専用プールに分割する軽量ディスパッチ機構であるデュアルプールトークン予算ルーティングを提案する。
  論文  参考訳（メタデータ） (2026-04-09T10:47:20Z)
• PrefillShare: A Shared Prefill Module for KV Reuse in Multi-LLM Disaggregated Serving [13.817047500501786]
  マルチエージェントシステムは、複雑な現実世界の問題を解決するために複数の特殊言語モデルを編成する。 各モデルはプリフィルステージを実行し、独自のキー値キャッシュを保持し、集約されたプリフィルロードを増やし、テール遅延を悪化させる。 そこで本研究では,複数のモデル間でプレフィルステージを分離した設定で共有するアルゴリズムであるPrefillShareを提案する。
  論文  参考訳（メタデータ） (2026-02-12T14:59:50Z)
• Towards Resiliency in Large Language Model Serving with KevlarFlow [6.576908567219356]
  KevlarFlowは、ハードウェアの信頼性の低下とサービス可用性のギャップを埋めるために設計された、フォールトサービスアーキテクチャである。 KevlarFlowは平均回復時間(MTTR)を20倍に削減し、故障条件下では平均遅延を3.1倍改善することを示した。
  論文  参考訳（メタデータ） (2026-01-30T01:17:27Z)
• Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
  Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。 ネストしたサブモデルを単一の親モデルに組み込む。 これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:21Z)
• OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
  大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。 プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。 我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
  論文  参考訳（メタデータ） (2025-08-11T20:07:34Z)
• AlpaServe: Statistical Multiplexing with Model Parallelism for Deep Learning Serving [53.01646445659089]
  モデル並列性は、複数のモデルを提供する場合、複数のデバイスの統計多重化に利用できることを示す。 本稿では,大規模ディープラーニングモデルのコレクションを配置・並列化するための効率的な戦略を決定する新しいサービスシステムAlpaServeを提案する。
  論文  参考訳（メタデータ） (2023-02-22T21:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。