論文の概要: JustFit: 200K-Token LLM Serving on a 24 GiB Laptop with Just-in-Time State Management
- arxiv url: http://arxiv.org/abs/2609.17475v1
- Date: Tue, 15 Sep 2026 17:15:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.633936
- Title: JustFit: 200K-Token LLM Serving on a 24 GiB Laptop with Just-in-Time State Management
- Title（参考訳）: ジャストファイト:24ギガバイトのラップトップで200KのLCMを走らせる
- Abstract要約: 本稿では,KVExecを圧縮KV実行用として,PhaseSwapをコンポーネント常駐用として,StateTransSwapを状態保存型サービス遷移用として組み合わせたMLXベースの推論ランタイムを提案する。
統合ランタイムは、30 AIME 2026の問題を正しく答える。
- 参考スコア（独自算出の注目度）: 5.210656026160777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Capable open-weight models make local coding and reasoning attractive, but their context and execution state strain laptop memory. We present JustFit, an MLX-based inference runtime that combines KVExec for compressed KV execution, PhaseSwap for component residency, and StateTrans for state-preserving serving transitions. These mechanisms fuse reconstruction and coordinate just-in-time materialization and release, independently of model-weight quantization. In full-execution capacity tests on a 24 GiB M4 Pro MacBook running Qwen3.8-27B MXFP4, three independent runs complete 196,608 input and 16,384 output tokens, increasing completed single-request context from the mlx-vlm baseline's 30,720 positions to 212,992 (6.93x); a separate two-request run retains 229,376 positions in aggregate. In separate performance tests, a 32K-input, 64-output probe reaches 19.11 tokens/s, and a repeated 32K+6K workload has a median peak process footprint of 16,374 MiB. The integrated runtime answers 29 of 30 AIME 2026 problems correctly, showing how compact state and lifetime-aware execution expand local serving capacity while supporting extended generated reasoning.
- Abstract（参考訳）: 有能なオープンウェイトモデルは、ローカルコーディングと推論を魅力的にしますが、そのコンテキストと実行状態はラップトップメモリを歪ませます。
MLXベースの推論ランタイムであるJustFitは、圧縮KVの実行にKVExec、コンポーネント常駐にPhaseSwap、状態保存サービス遷移にStateTransを組み合わせたものだ。
これらのメカニズムは、モデルウェイト量子化とは独立に、再構成とジャスト・イン・タイムの物質化と放出を融合させる。
Qwen3.8-27B MXFP4が動作する24 GiB M4 Pro MacBookのフル実行能力テストでは、3つの独立した実行が完了した196,608の入力と16,384の出力トークンを出力し、mlx-vlmベースラインの30,720位置から212,992 (6.93x)まで完了した単一要求コンテキストを増大させた。
別々の性能試験では、32K入力64出力プローブが19.11トークン/秒に達し、繰り返し32K+6Kのワークロードは16,374MiBのピークプロセスフットプリントを持つ。
統合ランタイムは、30 AIME 2026の29の問題を正しく答え、拡張生成された推論をサポートしながら、いかにコンパクトな状態とライフアウェア実行がローカルサービス能力を拡張するかを示す。
関連論文リスト
- FESC: Remodeling Long-Context Private Inference with Encrypted State-Space Models [21.63908755417832]
本稿では,Factized Encrypted Scan-Contract (FESC)について述べる。
FESCは、単一のGPU上でネイティブなエンドツーエンド実行を$L geq 1,024$で完了する最初のプライベートな長期ドキュメント推論システムである。
論文 参考訳（メタデータ） (2026-08-18T07:20:09Z) - QSimAdv: A Late-Bound, Vendor-Agnostic Architecture for High-Performance Quantum-Circuit Simulation [1.435000056979246]
QSimAdvは共通カーネルではなく遅延バインディングである。
この設計はNVIDIA GH200とAMD MI250X/EPYCシステムで実現している。
論文 参考訳（メタデータ） (2026-08-11T23:17:29Z) - RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。
これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。
128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
論文 参考訳（メタデータ） (2026-06-23T00:17:48Z) - MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research [39.68394140712043]
MobileGymは、日常的なモバイル利用のための軽量で完全に制御可能な環境である。
階層化された状態モデルと宣言的なタスク定義フレームワークは、状態のプログラマビリティとタスク作成を大規模に実践的に保ちます。
単一のプログラム的判断メカニズムは、決定論的評価評価と高密度報酬の両方を提供する。
論文 参考訳（メタデータ） (2026-05-25T17:59:49Z) - quantum-safe: Bridging the Post-Quantum Production Gap with a Hybrid-by-Default Python Cryptography Library [0.0]
量子セーフ(quantum-safe)は、量子後暗号における3つの重要なギャップを全て埋めるPythonである。
9つのPQCライブラリを8つの生産レベルディメンションでスコア付けします。
完全なX25519 + ML-KEM-768ハンドシェイクはDocker/Linuxで243秒で完了する。
論文 参考訳（メタデータ） (2026-05-16T16:05:11Z) - Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。
最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
論文 参考訳（メタデータ） (2026-05-15T03:31:51Z) - Native LLM and MLLM Inference at Scale on Apple Silicon [0.8122270502556375]
MLX をネイティブに構築した Apple Silicon 上で,効率的な LLM と MLLM 推論のためのフレームワーク vllm-mlx を提案する。
テキストモデルでは、Qwen3-0.6BからNemotron-30Bまでの範囲で、ラマよりも21%から87%高いスループットを達成する。
マルチモーダルモデルでは,入力形式によらず,同一画像をコンテンツハッシュで識別することで,冗長な視覚符号化を不要とするコンテンツベースキャッシングを導入する。
論文 参考訳（メタデータ） (2026-01-27T03:11:02Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳（メタデータ） (2025-09-30T16:32:52Z) - ParallelComp: Parallel Long-Context Compressor for Length Extrapolation [51.68913021512016]
超長い文脈(テキスト長 >128K)の補間は、大きな言語モデル(LLM)にとって大きな課題である。
本研究では,メモリボトルネックを効果的に克服する並列長コンテキスト圧縮手法であるParallelCompを提案する。
チャンクスループットが1.76倍向上し、プリフィル段階では23.50倍の高速化を実現し、性能損失を無視できる。
論文 参考訳（メタデータ） (2025-02-20T07:10:43Z) - MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。
バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。
MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
論文 参考訳（メタデータ） (2024-08-21T16:10:41Z) - LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。
LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
論文 参考訳（メタデータ） (2024-06-08T01:35:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。