論文の概要: MemBoost: A Memory-Boosted Framework for Cost-Aware LLM Inference

• arxiv url: http://arxiv.org/abs/2603.26557v1
• Date: Fri, 27 Mar 2026 16:16:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.586688
• Title: MemBoost: A Memory-Boosted Framework for Cost-Aware LLM Inference
• Title（参考訳）: MemBoost: コストを意識したLLM推論のためのメモリブーストフレームワーク
• Abstract要約: 大規模言語モデル(LLM)は、現実世界のサービスにおいて強力なパフォーマンスを提供するが、高い推論コストをもたらす。 MemBoostはメモリブートされたLLMサービスフレームワークで、軽量モデルで以前生成された回答を再利用することができる。
• 参考スコア（独自算出の注目度）: 5.7579997337758035
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) deliver strong performance but incur high inference cost in real-world services, especially under workloads with repeated or near-duplicate queries across users and sessions. In this work, we propose MemBoost, a memory-boosted LLM serving framework that enables a lightweight model to reuse previously generated answers and retrieve relevant supporting information for cheap inference, while selectively escalating difficult or uncertain queries to a stronger model. Unlike standard retrieval-augmented generation, which primarily grounds a single response, MemBoost is designed for interactive settings by supporting answer reuse, continual memory growth, and cost-aware routing. Experiments across multiple models under simulated workloads show that MemBoost substantially reduces expensive large-model invocations and overall inference cost, while maintaining high answer quality comparable to the strong model baseline.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特にユーザとセッションをまたいだ、あるいはほぼ重複したクエリを伴うワークロードにおいて、実世界のサービスにおいて、強力なパフォーマンスを提供するが、高い推論コストをもたらす。 本稿では,メモリブート方式のLCMサービスフレームワークであるMemBoostを提案する。このフレームワークにより,より強力なモデルに対して,難解なクエリや不確実なクエリを選択的にエスカレートしつつ,軽量モデルで事前生成した回答を再利用し,適切なサポート情報を安価な推論のために取得することができる。 MemBoostは、単一の応答を基盤とする標準的な検索拡張生成とは異なり、回答の再利用、連続的なメモリ成長、コスト対応ルーティングをサポートすることで、インタラクティブな設定のために設計されている。 シミュレーションワークロード下での複数のモデルに対する実験によると、MemBoostは、強力なモデルベースラインに匹敵する高い応答品質を維持しながら、高価な大モデル呼び出しと全体的な推論コストを大幅に削減する。

関連論文リスト

• MemoryCPT: An End-to-End Agent Memory Framework for Cost-Performance Trade-off [18.54644708989368]
  ロングホライゾンLSMエージェントは、過剰な文脈を通さずに、大きな相互作用履歴から有用な証拠を回収するメモリシステムを必要とする。 オフラインメモリ構築とオンラインクエリ条件付きコンテキスト生成にまたがる、エンドツーエンドのトレーニング可能なエージェントメモリパイプラインであるMemoryCPTを提案する。 LoCoMoとLongMemEvalの実験は、MemoryCPTが評価ベースラインに対するコストパフォーマンスのトレードオフを改善することを示している。
  論文  参考訳（メタデータ） (2026-08-05T13:37:08Z)
• MemChain: Learning Interpretable Memory Traces for Memory-Augmented LLM Agents [26.87993979719045]
  メモリ拡張LDMエージェントは通常、関連するメモリを検索し、直接回答モデルに入力することでクエリに応答する。 提案するMemChainは、検索した候補を応答対応アクティブメモリに変換する訓練後のメモリポリシーである。 MemChainは、クローズドソースとオープンウェイトフリートの両方の解答モデルにおいて、最先端のパフォーマンスを一貫して達成していることを示す。
  論文  参考訳（メタデータ） (2026-07-27T07:37:43Z)
• Mem-$π$: Adaptive Memory through Learning When and What to Generate [65.31077328444077]
  本稿では,大規模言語モデル(LLM)エージェントにおける適応メモリのためのフレームワークを提案する。 Mem-$は検索ベースとRL最適化メモリベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-20T17:51:05Z)
• MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
  大きな言語モデル(LLM)は、長期化タスクにますます使われています。 現在の手法はコストと精度のトレードオフに直面している。 MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T02:57:38Z)
• NextMem: Towards Latent Factual Memory for LLM-based Agents [58.35585202907478]
  NextMemは、自動回帰型オートエンコーダを使用して、潜時メモリを効率的に構築する、潜時ファクトメモリフレームワークである。 大規模な実験は、NextMemが優れたパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2026-02-26T14:35:27Z)
• MemR$^3$: Memory Retrieval via Reflective Reasoning for LLM Agents [29.652985606497882]
  私たちは、自律的で正確で互換性のあるエージェントシステムとして、メモリ検索を構築します。 MemR$3$は、2つの中核的なメカニズムを持つ: 1) 解答品質を最適化するために検索、反映、回答のアクションを選択するルータ; 2) 解答プロセスを透過的に描画し、証拠収集プロセスを追跡するグローバルエビデンスギャップトラッカー。
  論文  参考訳（メタデータ） (2025-12-23T10:49:42Z)
• Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
  Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。 10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
  論文  参考訳（メタデータ） (2025-11-25T21:08:07Z)
• Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
  大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。 本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-27T12:26:55Z)
• From Single to Multi-Granularity: Toward Long-Term Memory Association and Selection of Conversational Agents [79.87304940020256]
  大言語モデル(LLM)は会話エージェントで広く採用されている。 MemGASは、多粒度アソシエーション、適応選択、検索を構築することにより、メモリ統合を強化するフレームワークである。 4つの長期メモリベンチマークの実験により、MemGASは質問応答と検索タスクの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-26T06:13:07Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• $\text{Memory}^3$: Language Modeling with Explicit Memory [22.572376536612015]
  我々は、大言語モデル(LLM)に明示的なメモリ、モデルパラメータよりも安いメモリフォーマット、テキスト検索拡張生成(RAG)を装備する。 予備的な概念実証として, 2.4B LLM をゼロからトレーニングし, より大きな LLM モデルやRAG モデルよりも優れた性能を実現する。 本稿では,知識の外部化を支援するメモリ回路理論を導入し,記憶をトラクタブルにするメモリスペーサー化機構を含む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T11:07:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。