論文の概要: PhaseGate: Phase-Aware CPU Retrieval Scheduling for On-Device LLMs on Unified Memory

• arxiv url: http://arxiv.org/abs/2610.04537v1
• Date: Sat, 03 Oct 2026 14:07:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 19:06:12.876568
• Title: PhaseGate: Phase-Aware CPU Retrieval Scheduling for On-Device LLMs on Unified Memory
• Title（参考訳）: PhaseGate: 統一メモリ上のオンデバイスLCMのための位相対応CPU検索スケジューリング
• Abstract要約: PHASEGATEはプリフィルとデコードのための制限を校正し、ベースM4設定で4つと1つを選択する。 TimeGateも同様のスループットを実現するが、実行毎に出力ログのレイテンシ制限に違反する。 M2 と M2 Pro Mac のミニはポリシーの順序を再現するが、出力長のスイープはデコードによって各要求に占めるアドバンテージが狭まることを示している。
• 参考スコア（独自算出の注目度）: 9.879616004828465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-device assistants run GPU-based LLM inference alongside CPU retrieval on unified-memory systems. Under a saturated local-retrieval workload, four concurrent retrieval workers raise 95th-percentile (p95) decode latency by 60-61% on two M4 systems, whereas prefill latency rises by only 5.7-6.9%. We study LLM phase as an admission signal for independent CPU retrieval under controlled LLM workloads. PHASEGATE calibrates separate concurrency limits for prefill and decode, selecting four and one on our base-M4 configuration. Under a backlogged queue, it achieves 2.0 times the aggregate retrieval throughput of the best tested feasible fixed policy, with both p95 LLM latency metrics within 1.25 times their no-retrieval baselines in all seven held-out runs. A phase-blind control, TimeGate, uses the same two limits on a calibration-derived schedule without observing LLM phase. It achieves similar retrieval throughput but violates the output-token latency limit in every run. M2 and M2 Pro Mac minis reproduce the policy ordering, while output-length sweeps show that the advantage narrows as decode occupies more of each request.
• Abstract（参考訳）: デバイス上のアシスタントは、統一メモリシステムのCPU検索と並行してGPUベースのLLM推論を実行する。 飽和したローカル検索ワークロードの下では、4人の同時検索作業員が2つのM4システムで95パーセント(p95)のデコード遅延を60～61%増加させ、プリフィルレイテンシは5.7～6.9%上昇した。 制御されたLLM負荷下での独立CPU検索における入出力信号としてLLM位相について検討する。 PHASEGATEはプリフィルとデコードのための並行性制限を分離し、ベースM4設定で4つと1つを選択する。 バックログ化されたキューでは、最高のテスト可能な固定ポリシの総検索スループットの2.0倍を達成し、両方のp95 LLMレイテンシメトリクスは、7つのホールトアウト実行中の検索不能ベースラインの1.25倍以内である。 位相ブラインド制御であるTimeGateは、LCM位相を観察せずにキャリブレーションに基づくスケジュールで同じ2つの制限を使用する。 同様のスループットを実現するが、実行毎に出力待ちのレイテンシ制限に違反する。 M2 と M2 Pro Mac のミニはポリシーの順序を再現するが、出力長のスイープはデコードによって各要求に占めるアドバンテージが狭まることを示している。

関連論文リスト

• Enabling Performant and Flexible Model-Internal Observability for LLM Inference [6.153611368890026]
  DMI-Libは、内部オブザーバビリティをファーストクラスのシステムプリミティブとして扱う高速なディープモデルインスペクタである。 DMI-Libはオフラインのバッチ推論でわずか0.4%～6.8%のオーバーヘッドしか発生せず、オンラインの適度なサービスでは平均6%である。
  論文  参考訳（メタデータ） (2026-05-11T18:01:36Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• MemCtrl: Using MLLMs as Active Memory Controllers on Embodied Agents [53.44122827359892]
  本稿では,Multimodal Large Language Models (MLLM) を用いたメモリのオンラインプルーニングフレームワークであるMemCtrlを提案する。 拡張MLLMは平均で16%、特定の命令サブセットで20%以上改善されている。
  論文  参考訳（メタデータ） (2026-01-28T18:31:17Z)
• DuetServe: Harmonizing Prefill and Decode for LLM Serving via Adaptive GPU Multiplexing [15.376910065679994]
  DuetServeは、単一のGPU内で分散レベルの分離を実現する統一LLMサービスフレームワークである。 DuetServeは、最先端フレームワークと比較して、低ジェネレーションレイテンシを維持しながら、スループットを最大1.3倍改善する。
  論文  参考訳（メタデータ） (2025-11-06T20:18:34Z)
• Production-Grade Local LLM Inference on Apple Silicon: A Comparative Study of MLX, MLC-LLM, Ollama, llama.cpp, and PyTorch MPS [0.08030359871216612]
  我々は,Apple Silicon 上で 5 つの局所的大規模言語モデル (LLM) の体系的,実証的な評価を行う。 MLX, MLC-LLM, llama, Ollama, PyTorch MPSを試験した。
  論文  参考訳（メタデータ） (2025-10-09T23:53:38Z)
• lm-Meter: Unveiling Runtime Inference Latency for On-Device Language Models [7.524517279167586]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます統合されています。 モバイルおよびエッジデバイス(オンデバイスLDM)でLLMをローカルに実行することは、プライバシー、信頼性、通信コストの削減を約束する。 オンデバイスLSM推論に適した,最初の軽量オンライン遅延プロファイラであるlm-Meterを提案する。
  論文  参考訳（メタデータ） (2025-10-07T17:05:30Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• POD-Attention: Unlocking Full Prefill-Decode Overlap for Faster LLM Inference [9.164093249308419]
  我々は、ハイブリッドバッチの注意を効率的に計算する最初のGPUカーネルであるPOD-Attentionを紹介する。 POD-Attentionは、GPUのリソースを慎重に割り当てることで、計算帯域とメモリ帯域の両方の利用を最大化することを目的としている。
  論文  参考訳（メタデータ） (2024-10-23T17:06:56Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
  FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。 本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。 最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-10-05T03:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。