論文の概要: Concordia: JIT-Compiled Persistent-Kernel Checkpointing for Fault-Tolerant LLM Inference

• arxiv url: http://arxiv.org/abs/2606.23521v1
• Date: Mon, 22 Jun 2026 16:06:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 18:36:04.114054
• Title: Concordia: JIT-Compiled Persistent-Kernel Checkpointing for Fault-Tolerant LLM Inference
• Title（参考訳）: Concordia: JITコンパイルによるフォールトトレラントLPM推論のための永続カーネルチェックポイント
• Authors: Yuhang Gan, Yiwei Yang, Yuyi Li, Xiangyu Gao, Yichen Wang, Rain Jiang, Xiaoning Ding, Andi Quinn, Chen Qian,
• Abstract要約: 耐故障性LLM推論の基盤としてデバイス常駐型永続カーネルを使用するランタイムであるConcordiaを提案する。 登録されたLLM状態領域ごとに、Concordia JIT-compilesは特殊なデルタチェックポイントハンドラをコンパイルする。 永続カーネルは、計算、チェックポイント、追加ログ、リカバリタスクのロックフリーリングバッファを消費する。
• 参考スコア（独自算出の注目度）: 11.626421424288838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-running LLM agents keep valuable state resident on GPUs: KV caches, request schedulers, communication state, and sometimes online adapters. Losing this state after a GPU or communicator failure can discard minutes to hours of work, yet existing recovery mechanisms either restart the whole serving stack or require application-specific checkpoint logic inside every attention and runtime component. This paper argues that fault tolerance for such workloads needs a GPU-resident execution context: checkpoint hooks must run at device synchronization points, observe binary kernels that frameworks and libraries actually execute, and recover without putting the host CPU on the critical path. We present Concordia, a runtime that uses a device-resident persistent kernel as the substrate for fault-tolerant LLM inference. Concordia interposes on GPU module loading and supports PTX- and SASS-level instrumentation, allowing checkpoint and pause hooks to be inserted below framework code and library boundaries. For each registered LLM state region, Concordia JIT-compiles a specialized delta-checkpoint handler -- for example, a KV-block scanner, adapter-page scanner, or recovery applier -- and hot-swaps it into the persistent kernel's operator table. The persistent kernel consumes a lock-free ring buffer of compute, checkpoint, append-log, and recovery tasks, so the same always-on executor triggers dirty-page detection, stages deltas, and appends committed records to a CPU-visible log in CXL memory or host DRAM.
• Abstract（参考訳）: 長時間稼働するLLMエージェントは、KVキャッシュ、要求スケジューラ、通信状態、時にはオンラインアダプタなど、GPUに貴重な状態を保持する。 GPUやコミュニケータの障害後にこの状態を失うと、数分から数時間の作業が破棄される可能性があるが、既存のリカバリメカニズムはサービススタック全体を再起動するか、すべての注意と実行時コンポーネント内でアプリケーション固有のチェックポイントロジックを必要とする。 チェックポイントフックはデバイス同期ポイントで実行し、フレームワークやライブラリが実際に実行しているバイナリカーネルを観察し、ホストCPUをクリティカルパスに置くことなくリカバリする必要がある。 耐故障性LLM推論の基盤としてデバイス常駐型永続カーネルを使用するランタイムであるConcordiaを提案する。 ConcordiaはGPUモジュールのロードを補完し、PTXおよびSASSレベルのインスツルメンテーションをサポートし、フレームワークコードとライブラリ境界の下にチェックポイントと一時停止フックを挿入することができる。 登録されたLLM状態領域ごとに、Concordia JIT-compilesは特殊なデルタチェックポイントハンドラ -- KVブロックスキャナ、アダプタページスキャナ、リカバリアプライヤ -- をコンパイルし、永続カーネルのオペレータテーブルにホットスワップする。 永続カーネルは、計算、チェックポイント、追加ログ、リカバリタスクのロックフリーリングバッファを消費するので、常にオンのエグゼキュータは、汚いページの検出、ステージデルタ、コミットしたレコードをCXLメモリまたはホストDRAM内のCPU可視ログに追加する。

関連論文リスト

• Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving [0.5076419064097734]
  我々は、低レイテンシ、小バッチ、デバイス上の物理AIサービスという、反対の体制について研究する。 完全復元可能な状態に対するグラフバウンドチェックポイントと復元機構である実行状態カプセルを導入する。 これにより、トークンアドレス付きKVフラグメントからグラフバウンド実行状態境界への再利用が実現される。
  論文  参考訳（メタデータ） (2026-06-18T17:49:36Z)
• AgileOS: A GPU Operating System Layer for Protected CUDA Services [5.074019267683835]
  本稿では,保護サービスのためのGPUオペレーティングシステム層であるAgileOSの初期設計とプロトタイプのスコープについて述べる。 サービス状態とモジュールインターフェースを保護するため、AgileOSは、ユーザー割り当てを保護されたモジュール/MMIO範囲から分離するGPUメモリ管理モデルを定義している。 AgileOSはモジュール化され、柔軟性があり、様々な保護されたサービスとcuFFTやPyTorchといった既存のライブラリをサポートする。
  論文  参考訳（メタデータ） (2026-06-04T20:34:56Z)
• MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
  本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。 MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。 MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
  論文  参考訳（メタデータ） (2026-05-20T07:25:33Z)
• ARGUS: Agentic GPU Optimization Guided by Data-Flow Invariants [12.49256588033198]
  LLMベースのコーディングエージェントは、機能的に正しいGPUカーネルを生成することができるが、その性能は、重要な計算に関する手動最適化ライブラリよりもはるかに低いままである。 データフロー不変量を通じてこの問題に対処するエージェントフレームワークであるArgusを紹介します。 我々は、GEMM、フラッシュアテンション、MoEカーネルにわたるAMD MI300X GPU上でArgusを評価する。
  論文  参考訳（メタデータ） (2026-04-16T15:49:31Z)
• Foundry: Template-Based CUDA Graph Context Materialization for Fast LLM Serving Cold Start [33.16822047715293]
  コールドスタートのレイテンシは、現代のLLMサービスプロバイダにとって依然として大きなボトルネックである。 既存のアプローチは脆いカーネル固有のパッチや実行可能なプロセスコンテキストに依存している。 本稿では、グラフトポロジと実行コンテキストの両方を永続化する、Foundryテンプレートベースのグラフ実体化システムを提案する。
  論文  参考訳（メタデータ） (2026-04-08T04:31:34Z)
• Revati: Transparent GPU-Free Time-Warp Emulation for LLM Serving [1.4573878379102423]
  Revatiはリアルタイムシステムコードをシミュレーションライクな速度で直接実行することで、パフォーマンスモデリングを可能にするタイムワープエミュレータである。 Revatiは、実際のGPU実行よりも5～17倍高速で実行しながら、複数のモデルと構成で5%未満の予測エラーを達成する。
  論文  参考訳（メタデータ） (2026-01-01T17:19:58Z)
• KGym: A Platform and Dataset to Benchmark Large Language Models on Linux Kernel Crash Resolution [59.20933707301566]
  大規模言語モデル(LLM)は、ますます現実的なソフトウェア工学(SE)タスクにおいて一貫して改善されている。 現実世界のソフトウェアスタックでは、Linuxカーネルのような基本的なシステムソフトウェアの開発にSEの取り組みが費やされています。 このような大規模システムレベルのソフトウェアを開発する際にMLモデルが有用かどうかを評価するため、kGymとkBenchを紹介する。
  論文  参考訳（メタデータ） (2024-07-02T21:44:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。