Fugu-MT 論文翻訳(概要): Kalypso: Relational LLM Serving

論文の概要: Kalypso: Relational LLM Serving

arxiv url: http://arxiv.org/abs/2607.23815v1
Date: Sun, 26 Jul 2026 19:29:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-28 22:34:15.242703
Title: Kalypso: Relational LLM Serving
Title（参考訳）: Kalypso:リレーショナルLLMサービング
Abstract要約: 既存のセマンティッククエリ処理システムは、クエリ計画に気付かない要求中心のLLMサービスシステムを呼び出す。セマンティッククエリ計画のためのAPIを公開するリレーショナルLLMサービスシステムであるKalypsoを,適応型メモリ対応スケジューリングアルゴリズムを用いて提案する。我々の評価によると、Kalypsoは要求中心のLLMサービスを使用してベースラインよりもクエリ完了時間を改善し、さまざまなワークロードで最大4.57倍のスピードアップを実現している。
参考スコア（独自算出の注目度）: 6.264258565843104
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models are increasingly used as semantic operators for filtering, extracting, ranking, joining, and transforming unstructured data. Existing semantic query processing systems invoke request-centric LLM serving systems that are unaware of the query plan, leaving substantial performance opportunities unused. This paper introduces relational LLM serving, an abstraction that makes LLM serving aware of semantic query structure while preserving query semantics and output accuracy. The key opportunity is pipelined execution across semantic operators: when intermediate tuples flow directly from one operator to the next, their KV-cache state can be reused instead of recomputed. We present Kalypso, a relational LLM serving system that exposes an API for semantic query plans and executes them using an adaptive, memory-aware scheduling algorithm. Kalypso addresses a new online scheduling problem in which pipelined operator execution is coupled with GPU memory pressure management to reuse KV-cache state in the serving engine before eviction. Its scheduler continuously adjusts memory allocations to balance upstream parallelism, downstream progress, and GPU utilization. Our evaluation shows that Kalypso improves query completion time over baselines using request-centric LLM serving, with speedups up to 4.57x across diverse workloads, demonstrating that query-aware LLM serving can substantially improve the efficiency of semantic query execution.
Abstract（参考訳）: 大規模な言語モデルは、フィルタリング、抽出、ランク付け、結合、非構造化データの変換のための意味演算子としてますます使われている。既存のセマンティッククエリ処理システムは、クエリ計画に気付かない要求中心のLLMサービスシステムを呼び出す。本稿では,クエリのセマンティクスと出力精度を保ちながら,意味的クエリ構造を意識したLLMサービスを実現するための抽象化であるリレーショナルLLMサービスを紹介する。中間タプルが1つの演算子から直接次の演算子に流れる場合、そのKV-cache状態は再計算せずに再利用できる。セマンティッククエリ計画のためのAPIを公開するリレーショナルLLMサービスシステムであるKalypsoを,適応型メモリ対応スケジューリングアルゴリズムを用いて提案する。 Kalypsoは、パイプライン演算子の実行とGPUメモリの圧力管理を結合して、終了前にサービスエンジン内のKVキャッシュ状態を再利用する、新たなオンラインスケジューリング問題に対処する。スケジューラはメモリ割り当てを継続的に調整し、上流の並列性、下流の進行性、GPU利用のバランスをとる。我々の評価では,要求中心のLLMサービスにより,要求中心のLLMサービスによりベースラインよりもクエリ完了時間を改善し,さまざまなワークロードで最大4.57倍の高速化を実現し,クエリ対応のLLMサービスにより,セマンティッククエリ実行の効率を大幅に改善できることが示されている。

関連論文リスト

Modular Representation Compression: Adapting LLMs for Efficient and Effective Recommendations [53.53864188270018]
大規模言語モデル(LLM)には高度なレコメンデーションシステム(RS)がある。 LLMのモジュラリティを明示的に制御するための MARC を提案する。 MARCは大規模な商用検索広告シナリオにおけるオンラインA/Bテストで2.82%のeCPMリフトを達成した。
論文参考訳（メタデータ） (2026-04-20T12:08:58Z)
Scepsy: Serving Agentic Workflows Using Aggregate LLM Pipelines [0.7551404527457958]
任意のマルチLLMエージェントをGPUクラスタに効率的にスケジュールする新しいエージェントサービスシステムについて述べる。 Scepsyは、LLMを独立して最適化するシステムと比較して、最大2.4倍のスループットと27倍のレイテンシを実現している。
論文参考訳（メタデータ） (2026-04-16T16:15:29Z)
MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
大きな言語モデル(LLM)は、長期化タスクにますます使われています。現在の手法はコストと精度のトレードオフに直面している。 MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
論文参考訳（メタデータ） (2026-03-03T02:57:38Z)
SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2026-01-05T21:02:49Z)
LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
論文参考訳（メタデータ） (2025-01-28T03:18:48Z)
KunServe: Parameter-centric Memory Management for Efficient Memory Overloading Handling in LLM Serving [5.090882129969119]
本稿では、複製されたパラメータを即座にフリーな要求メモリに選択的にドロップすることで、スロットリングを扱うための最初のパラメータ中心のアプローチを提案する。 Llumnix, vLLM, InferCept などの最先端システムと比較して,sys はスロットリング中のリクエストのテールTTFTを最大72.2倍削減することを示す。
論文参考訳（メタデータ） (2024-12-24T05:07:46Z)
ALISE: Accelerating Large Language Model Serving with Speculative Scheduling [7.367068885621016]
大規模言語モデル(LLM)は、現代の人工知能(AGI)の展望における革命的な進歩を表している。本稿では, ALISE という新しい効率的な LLM 推論サービスフレームワークを提案する。 ALISEは,AlpacaデータセットとShareGPTデータセットと同じレイテンシ制約の下で,最大1.8xと2.1xの推論処理のスループットを向上することを示す。
論文参考訳（メタデータ） (2024-10-31T00:58:11Z)
Efficient LLM Scheduling by Learning to Rank [19.33941579312897]
そこで本研究では,要求の集合における出力長の相対的なランクを,学習者によるランク付けによって予測可能であることを示す。我々は,LLM推論のための新しいスケジューラを開発し,SJFスケジュールを既存手法よりも高速に近似する。
論文参考訳（メタデータ） (2024-08-28T13:35:54Z)
Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding [61.45448947483328]
LLMベースのレコメンダシステム(LASER)の投機的復号化によるロスレス高速化について紹介する。 LASERは、検索効率を高めるためのカスタマイズされた検索プールと、ドラフトトークンの受け入れ率を改善するための緩和検証を備えている。 LASERは公開データセットの3～5倍のスピードアップを実現し、オンラインA/Bテスト中に約67%の計算リソースを節約する。
論文参考訳（メタデータ） (2024-08-11T02:31:13Z)
Optimizing LLM Queries in Relational Data Analytics Workloads [50.95919232839785]
バッチデータ分析は、Large Language Models(LLMs)の急成長するアプリケーションである LLMは、分類、エンティティ抽出、翻訳などの幅広い自然言語タスクを、大規模なデータセット上で実行可能にする。本稿では,LLMコールによるリレーショナルデータ解析処理のコストを大幅に削減できる新しい手法を提案する。
論文参考訳（メタデータ） (2024-03-09T07:01:44Z)
Fast Distributed Inference Serving for Large Language Models [12.703624317418237]
大規模言語モデル(LLM)のための分散推論サービスシステムであるFastServeについて述べる。 FastServeはLLM推論の自己回帰パターンを利用して、各出力トークンの粒度のプリエンプションを可能にする。我々は,FastServeのシステムプロトタイプを構築し,最先端のソリューションであるvLLMと比較して,同じ平均および末尾遅延条件下でのスループットを最大31.4xと17.9xに改善したことを示す。
論文参考訳（メタデータ） (2023-05-10T06:17:50Z)
Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文参考訳（メタデータ） (2023-04-27T14:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。