論文の概要: Concordia: JIT-Compiled Persistent-Kernel Checkpointing for Fault-Tolerant LLM Inference
- arxiv url: http://arxiv.org/abs/2606.23521v1
- Date: Mon, 22 Jun 2026 16:06:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 18:36:04.114054
- Title: Concordia: JIT-Compiled Persistent-Kernel Checkpointing for Fault-Tolerant LLM Inference
- Title（参考訳）: Concordia: JITコンパイルによるフォールトトレラントLPM推論のための永続カーネルチェックポイント
- Abstract要約: 耐故障性LLM推論の基盤としてデバイス常駐型永続カーネルを使用するランタイムであるConcordiaを提案する。
登録されたLLM状態領域ごとに、Concordia JIT-compilesは特殊なデルタチェックポイントハンドラをコンパイルする。
永続カーネルは、計算、チェックポイント、追加ログ、リカバリタスクのロックフリーリングバッファを消費する。
- 参考スコア（独自算出の注目度）: 11.626421424288838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-running LLM agents keep valuable state resident on GPUs: KV caches, request schedulers, communication state, and sometimes online adapters. Losing this state after a GPU or communicator failure can discard minutes to hours of work, yet existing recovery mechanisms either restart the whole serving stack or require application-specific checkpoint logic inside every attention and runtime component. This paper argues that fault tolerance for such workloads needs a GPU-resident execution context: checkpoint hooks must run at device synchronization points, observe binary kernels that frameworks and libraries actually execute, and recover without putting the host CPU on the critical path. We present Concordia, a runtime that uses a device-resident persistent kernel as the substrate for fault-tolerant LLM inference. Concordia interposes on GPU module loading and supports PTX- and SASS-level instrumentation, allowing checkpoint and pause hooks to be inserted below framework code and library boundaries. For each registered LLM state region, Concordia JIT-compiles a specialized delta-checkpoint handler -- for example, a KV-block scanner, adapter-page scanner, or recovery applier -- and hot-swaps it into the persistent kernel's operator table. The persistent kernel consumes a lock-free ring buffer of compute, checkpoint, append-log, and recovery tasks, so the same always-on executor triggers dirty-page detection, stages deltas, and appends committed records to a CPU-visible log in CXL memory or host DRAM.
- Abstract（参考訳）: 長時間稼働するLLMエージェントは、KVキャッシュ、要求スケジューラ、通信状態、時にはオンラインアダプタなど、GPUに貴重な状態を保持する。
GPUやコミュニケータの障害後にこの状態を失うと、数分から数時間の作業が破棄される可能性があるが、既存のリカバリメカニズムはサービススタック全体を再起動するか、すべての注意と実行時コンポーネント内でアプリケーション固有のチェックポイントロジックを必要とする。
チェックポイントフックはデバイス同期ポイントで実行し、フレームワークやライブラリが実際に実行しているバイナリカーネルを観察し、ホストCPUをクリティカルパスに置くことなくリカバリする必要がある。
耐故障性LLM推論の基盤としてデバイス常駐型永続カーネルを使用するランタイムであるConcordiaを提案する。
ConcordiaはGPUモジュールのロードを補完し、PTXおよびSASSレベルのインスツルメンテーションをサポートし、フレームワークコードとライブラリ境界の下にチェックポイントと一時停止フックを挿入することができる。
登録されたLLM状態領域ごとに、Concordia JIT-compilesは特殊なデルタチェックポイントハンドラ -- KVブロックスキャナ、アダプタページスキャナ、リカバリアプライヤ -- をコンパイルし、永続カーネルのオペレータテーブルにホットスワップする。
永続カーネルは、計算、チェックポイント、追加ログ、リカバリタスクのロックフリーリングバッファを消費するので、常にオンのエグゼキュータは、汚いページの検出、ステージデルタ、コミットしたレコードをCXLメモリまたはホストDRAM内のCPU可視ログに追加する。
関連論文リスト
- SCOUT: Symmetric Consensus Outlier Detection for Failure Localization in LLM Pre-Training [7.018753691717986]
事前トレーニングでは、同期は、ランクローカルなストール、スローダウン、数値的なエラーをジョブワイドな症状へと伝播し、その起源を隠蔽する。
SCOUTは1つの設計原則に基づいて構築された統一型ランタイム障害局所化フレームワークである。
SCOUTはトレーニングループやフレームワークソースの変更なしに、PyTorch、TorchTitan、Megatron-Core、DeepSpeedと統合されている。
論文 参考訳（メタデータ） (2026-08-11T15:12:14Z) - Resume Means Resume: A Machine-Checked Conformance Contract for Checkpoint, Interrupt, and Resume Semantics in Workflow Persistence Layers [0.0]
実行状態を維持して、実行を中断し、クラッシュを生き残るためのフレームワークは、すでに発生した影響に対して、再開が何を意味するのかを判断し続けなければなりません。
5つの広くデプロイされたエージェントワークフローフレームワークがそれぞれ異なる答えを出し、マシンチェック可能なコントラクトを公開することはない。
LangGraph 1.2.9は2度目の履歴書値を記録し、それを参照せず、無意味な状態を静かに持続し、実際のSIGKILLの後、永続的に記録された作業を再実行する。
論文 参考訳（メタデータ） (2026-08-04T15:45:31Z) - TELLER: Non-intrusive Cross-Layer Root-Cause Analysis for LLM Inference [47.62941623025392]
本稿では,非侵入的でログ対応なLLM推論フレームワークであるTELLERについて紹介する。
TELLERはモデルバイナリを変更することなく、NVTX/CUPTIトレースとサービスログを収集する。
リクエスト毎のコールチェーンツリーを再構築し、ログ行と対応する実行ステップをアライメントする。
これらの表現に加えて、TELLERは数値的候補のローカライゼーションとマルチモーダルな根起因モデルを組み合わせる。
論文 参考訳（メタデータ） (2026-08-03T09:39:11Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - WarpGuard: Towards Control-Flow Attestation for Heterogeneous CPU-GPU Execution [5.687515869589544]
We present WarpGuard, a first Composite CFA framework for heterogeneous CPU-GPU workloads。
CPUとGPUコンポーネントの両方をキャプチャする統合制御フローグラフ(CFG)に対する実行を検証する。
We implement WarpGuard using software-based instrumentation, allows no special hardware or binary modifieds。
論文 参考訳（メタデータ） (2026-07-15T09:32:43Z) - Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving [0.5076419064097734]
我々は、低レイテンシ、小バッチ、デバイス上の物理AIサービスという、反対の体制について研究する。
完全復元可能な状態に対するグラフバウンドチェックポイントと復元機構である実行状態カプセルを導入する。
これにより、トークンアドレス付きKVフラグメントからグラフバウンド実行状態境界への再利用が実現される。
論文 参考訳（メタデータ） (2026-06-18T17:49:36Z) - AgileOS: A GPU Operating System Layer for Protected CUDA Services [5.074019267683835]
本稿では,保護サービスのためのGPUオペレーティングシステム層であるAgileOSの初期設計とプロトタイプのスコープについて述べる。
サービス状態とモジュールインターフェースを保護するため、AgileOSは、ユーザー割り当てを保護されたモジュール/MMIO範囲から分離するGPUメモリ管理モデルを定義している。
AgileOSはモジュール化され、柔軟性があり、様々な保護されたサービスとcuFFTやPyTorchといった既存のライブラリをサポートする。
論文 参考訳（メタデータ） (2026-06-04T20:34:56Z) - MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。
MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。
MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
論文 参考訳（メタデータ） (2026-05-20T07:25:33Z) - ARGUS: Agentic GPU Optimization Guided by Data-Flow Invariants [12.49256588033198]
LLMベースのコーディングエージェントは、機能的に正しいGPUカーネルを生成することができるが、その性能は、重要な計算に関する手動最適化ライブラリよりもはるかに低いままである。
データフロー不変量を通じてこの問題に対処するエージェントフレームワークであるArgusを紹介します。
我々は、GEMM、フラッシュアテンション、MoEカーネルにわたるAMD MI300X GPU上でArgusを評価する。
論文 参考訳（メタデータ） (2026-04-16T15:49:31Z) - Foundry: Template-Based CUDA Graph Context Materialization for Fast LLM Serving Cold Start [33.16822047715293]
コールドスタートのレイテンシは、現代のLLMサービスプロバイダにとって依然として大きなボトルネックである。
既存のアプローチは脆いカーネル固有のパッチや実行可能なプロセスコンテキストに依存している。
本稿では、グラフトポロジと実行コンテキストの両方を永続化する、Foundryテンプレートベースのグラフ実体化システムを提案する。
論文 参考訳（メタデータ） (2026-04-08T04:31:34Z) - Learning to Share: Selective Memory for Efficient Parallel Agentic Systems [49.78267008828593]
エージェントシステムは、反復的に推論する複数のエージェントを調整することで複雑なタスクを解決し、ツールを呼び出し、中間結果を交換する。
最近のアプローチでは、さまざまな推論の軌跡を探索するために、複数のエージェントチームが並行して運用されている。
我々は並列エージェントフレームワークのための学習された共有メモリ機構であるLearning to Share (LTS)を提案する。
論文 参考訳（メタデータ） (2026-02-05T18:20:21Z) - Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。
kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。
kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
論文 参考訳（メタデータ） (2026-02-02T19:06:15Z) - Revati: Transparent GPU-Free Time-Warp Emulation for LLM Serving [1.4573878379102423]
Revatiはリアルタイムシステムコードをシミュレーションライクな速度で直接実行することで、パフォーマンスモデリングを可能にするタイムワープエミュレータである。
Revatiは、実際のGPU実行よりも5～17倍高速で実行しながら、複数のモデルと構成で5%未満の予測エラーを達成する。
論文 参考訳（メタデータ） (2026-01-01T17:19:58Z) - KGym: A Platform and Dataset to Benchmark Large Language Models on Linux Kernel Crash Resolution [59.20933707301566]
大規模言語モデル(LLM)は、ますます現実的なソフトウェア工学(SE)タスクにおいて一貫して改善されている。
現実世界のソフトウェアスタックでは、Linuxカーネルのような基本的なシステムソフトウェアの開発にSEの取り組みが費やされています。
このような大規模システムレベルのソフトウェアを開発する際にMLモデルが有用かどうかを評価するため、kGymとkBenchを紹介する。
論文 参考訳（メタデータ） (2024-07-02T21:44:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。