論文の概要: Rimuru: Unified Memory Management for Modern LLM Serving via Elastic Expert Offloading

• arxiv url: http://arxiv.org/abs/2610.40305v1
• Date: Thu, 29 Oct 2026 15:47:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.530858
• Title: Rimuru: Unified Memory Management for Modern LLM Serving via Elastic Expert Offloading
• Title（参考訳）: Rimuru: エラスティックエキスパートオフロードによるモダンなLLM実行のための統一メモリ管理
• Abstract要約: Rimuruは、エラスティックエキスパートのオフロードを通じてメモリ管理を統合する、現代的なサービスシステムである。 評価の結果、Rimuruは19.03倍のスループットを実現し、TTFTを平均98.1%削減した。
• 参考スコア（独自算出の注目度）: 39.996498796741605
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Modern LLMs strain device memory through large model weights and attention states, particularly in resource-constrained scenarios. Existing systems separately provision memory for model weights and attention states, imposing fixed fixed boundaries that cannot adapt to the changing memory demands of workloads. Under heavy workloads, insufficient state capacity limits request concurrency and reduces throughput; under light workloads, idle memory in one region cannot be reallocated to another, wasting device memory. Meanwhile, modern LLM architectures introduce heterogeneous tensors with diverse layouts and lifetimes, further complicating memory management. These problems motivate unified memory management for heterogeneous tensors. However, a shared pool alone does not make memory directly reusable across tensors with different allocation granularities and execution layouts. This paper presents Rimuru, a modern LLM serving system that unifies memory management through elastic expert offloading. Rimuru establishes a shared page pool to enables elastic memory sharing across heterogeneous tensors. To accommodate different allocation granularities, Rimuru introduces memory views that allow each tensor type to interpret the shared memory space using its own page size and page table. Furthermore, Rimuru combines huge-page alignment with a multi-level page allocator that splits and merges pages, enabling cross-type capacity reuse. A page-table-aware fused MoE kernel directly accesses non-contiguous expert weights, avoiding copy overhead. Building on these mechanisms, Rimuru employs a workload-aware adjuster that dynamically reallocates pages across tensor types according to runtime demands. Implemented on top of vLLM, Rimuru remains compatible with modern LLMs. Evaluations show that Rimuru achieves up to 19.03x baseline throughput and reduces TTFT by 98.1% on average.
• Abstract（参考訳）: 現代のLCMは、特にリソース制約のあるシナリオにおいて、大きなモデル重みと注意状態を通じてデバイスメモリを歪ませる。 既存のシステムは、モデルウェイトとアテンションステートにメモリを別々に供給し、ワークロードのメモリ要求の変化に適応できない固定されたバウンダリを付与する。 重負荷下では、状態キャパシティの不足が並列処理を要求し、スループットを低下させる。軽量ワークロードでは、あるリージョンのアイドルメモリを別のリージョンに再配置することはできず、デバイスメモリを浪費する。 一方、現代のLLMアーキテクチャは様々なレイアウトと寿命を持つ異種テンソルを導入し、メモリ管理をさらに複雑にしている。 これらの問題はヘテロジニアステンソルの統一メモリ管理を動機付けている。 しかし、共有プールだけでは、アロケーションの粒度や実行レイアウトが異なるテンソル間でメモリを直接再利用することはできません。 本稿では, エラスティックエキスパートオフロードによるメモリ管理を統一する, 最新のLCMサービスシステムであるRimuruについて述べる。 Rimuruは、異種テンソル間の弾力性のあるメモリ共有を可能にする共有ページプールを確立する。 Rimuruはメモリビューを導入し、各テンソルタイプが自身のページサイズとページテーブルを使って共有メモリ空間を解釈できるようにする。 さらに、巨大なページアライメントと、ページを分割してマージするマルチレベルページアロケータを組み合わせることで、クロスタイプのキャパシティの再利用を可能にする。 ページテーブル対応の融合MoEカーネルは、コピーオーバーヘッドを回避して、非連続的な専門家の重みに直接アクセスする。 これらのメカニズムに基づいて、Rimuruは、実行時要求に応じてテンソルタイプにまたがるページを動的に再配置する、ワークロード対応の調整器を使用している。 vLLM 上に実装された Rimuru は、現代の LLM と互換性が保たれている。 評価の結果、Rimuruは19.03倍のスループットを実現し、TTFTを平均98.1%削減した。

関連論文リスト

• Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
  マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。 本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
  論文  参考訳（メタデータ） (2026-08-24T13:56:01Z)
• MawForge: Memory-Bounded Expert Materialization for Local Mixture-of-Experts Inference [0.0]
  ローカルMoEは、ディスク上に全モデルを格納することで、制約付き統一メモリマシンで実践することができる。 パフォーマンスは、慣れたフットプリント、KVキャッシュサイズ、ルートローカリティ、メモリプレッシャーに対する専門家の再利用のバランスに依存する。
  論文  参考訳（メタデータ） (2026-06-17T00:33:45Z)
• Rosetta Memory: Adaptive Memory for Cross-LLM Agents [16.39618390394249]
  メモリは、経験蓄積、長期計画、継続的な自己改善を通じて、ステートレス LLM を永続的で進化したエージェントに変換するための鍵となるコンポーネントである。 実際には、ユーザーは、コーディングにClaudeを使い、タスク間の書き込みにGPTを使用する、あるいはコスト効率のトレードオフのために単一のタスク内で異なるバックボーンに異なるステップをルーティングするなど、LLMを頻繁に切り替える。 上流メモリを効果的に適用し、下流のLSMを活性化させることは、重要な問題でありながら未発見の課題である。 具体的には、上述のアップストリーム・ダウンストリームメモリ適応問題に対して、書き込み側と読み側の両方からアプローチし、2つのプロファイル条件を設計する。
  論文  参考訳（メタデータ） (2026-06-05T13:50:59Z)
• MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
  本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。 MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。 MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
  論文  参考訳（メタデータ） (2026-05-20T07:25:33Z)
• MemLoRA: Distilling Expert Adapters for On-Device Memory Systems [71.32550994522738]
  メモリ拡張大言語モデル(LLM)は対話中に顕著な一貫性を示す。 MemLoRAは、小さなVision-Language Modelを統合する新しいメモリシステムである。 VLM統合MemLoRA-Vはキャプションベースのアプローチで大幅に改善されている。
  論文  参考訳（メタデータ） (2025-12-04T12:56:30Z)
• Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
  大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。 本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-27T12:26:55Z)
• vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention [8.20523619534105]
  PagedAttention は LLM サービスシステムにおける動的メモリ割り当ての一般的なアプローチである。 仮想メモリにおけるKVキャッシュの整合性を保ちながら、物理メモリのフラグメンテーションを軽減するアプローチとして、vAttentionを提案する。 全体として、vAttentionはPagedAttentionに代わるシンプルでポータブルでパフォーマンスの高いものだ。
  論文  参考訳（メタデータ） (2024-05-07T16:00:32Z)
• Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
  ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。 本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。 性能を維持しながらメモリフットプリントの大幅な削減を示す。
  論文  参考訳（メタデータ） (2021-02-24T19:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。