論文の概要: Akashic: A Low-Overhead LLM Inference Service with MemAttention

• arxiv url: http://arxiv.org/abs/2607.05708v1
• Date: Tue, 07 Jul 2026 00:06:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.354114
• Title: Akashic: A Low-Overhead LLM Inference Service with MemAttention
• Title（参考訳）: Akashic: MemAttentionを備えた低オーバーヘッドLCM推論サービス
• Abstract要約: 本稿では,MemAttentionを中心に構築された低オーバーヘッドメモリシステムであるAkashicを提案する。 Akashicはコンテキストを境界チャンクに整理し、チャンク間のセマンティックな関係をモデル化する。 Akashicはタスクの精度を最大10.2ポイント、スループットを最大1.21倍、リクエストレートを最大1.88倍改善する。
• 参考スコア（独自算出の注目度）: 24.632531185056262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent LLM-based agent systems continuously accumulate context across multi-turn interactions, tool invocations, and cross-session workflows. Replaying the full history for every request quickly becomes impractical: long contexts increase prefill cost, may exceed context limits, and often bury task-relevant evidence in irrelevant content, degrading both serving efficiency and output quality. We propose Akashic, a low-overhead memory system built around MemAttention, which organizes context into bounded chunks and models semantic relationships across chunks, preserving cross-chunk evidence without repeatedly rewriting the full history. Akashic further applies hardware-software co-designed memory placement to co-locate likely co-retrieved chunks, reducing retrieval fragmentation and I/O overhead. Across four representative workloads and three model sizes, Akashic improves task accuracy by up to 10.2 points, throughput by up to 1.21x, and sustainable request rate by up to 1.88x over strong prior memory baselines.
• Abstract（参考訳）: 近年のLLMベースのエージェントシステムは,マルチターンインタラクションやツール呼び出し,クロスセッションワークフローなど,コンテキストを継続的に蓄積している。 長いコンテキストはプリフィルコストを増大させ、コンテキスト制限を超え、しばしば非関連コンテンツにタスク関連エビデンスを埋め、効率と出力品質の両方を劣化させる。 我々は,MemAttentionを中心に構築された低オーバーヘッドメモリシステムであるAkashicを提案する。これはコンテキストを境界チャンクに整理し,チャンク間のセマンティックな関係をモデル化する。 Akashicはさらに、ハードウェアとソフトウェアが共同設計したメモリ配置を適用して、検索可能なチャンクを共同配置し、検索の断片化とI/Oオーバーヘッドを低減する。 4つの代表的ワークロードと3つのモデルサイズで、Akashicはタスクの精度を最大10.2ポイント、スループットを最大1.21倍、持続的なリクエストレートを最大1.88倍改善する。

関連論文リスト

• Mandol: An Agglomerative Agent Memory System for Long-Term Conversations [19.51654277630379]
  Mandolは、断片化されたメモリ表現とストレージを統一されたメモリネイティブアーキテクチャに統合する集約型メモリシステムである。 マンドルは代表エージェントメモリシステムの中で最高の全体的な精度を達成する。
  論文  参考訳（メタデータ） (2026-06-29T04:43:29Z)
• MINTEval: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems [69.06764269022925]
  本研究では,現在の記憶増強剤が現実的,干渉重大,長期的設定において果たす役割について検討する。 MINTEvalは、頻繁に更新される情報を備えた、長く高度に相互接続されたコンテキストを特徴とするベンチマークである。 MINTEvalは128.8kのトークンを平均で1インスタンスあたり1.8Mのトークンに拡張し、15.6kの質問応答ペアを持つ。
  論文  参考訳（メタデータ） (2026-05-18T15:43:35Z)
• Learning to Remember: End-to-End Training of Memory Agents for Long-Context Reasoning [18.621823772319154]
  本稿では,メモリ操作と質問応答を一つのポリシーで統一するエンドツーエンド強化学習フレームワークを提案する。 UMAは、グローバルコンテキストのためのコンパクトなコアサマリと、明示的なCRUDをサポートする構造化メモリバンクという、二重メモリ表現を維持している。 Ledger-QA、Test-Time Learning、そしてCurcurate Retrievalにまたがる13のデータセットのうち、UMAは動的推論と学習タスクの長いコンテキストとRAGベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-02-13T16:54:23Z)
• AMA: Adaptive Memory via Multi-Agent Collaboration [54.490349689939166]
  複数の粒度にまたがるメモリ管理に協調エージェントを活用する新しいフレームワークであるAMA(Adaptive Memory via Multi-Agent Collaboration)を提案する。 AMAは、ステート・オブ・ザ・アートのベースラインを著しく上回り、トークンの消費をフルコンテキストの手法と比べて約80%削減する。
  論文  参考訳（メタデータ） (2026-01-28T08:09:49Z)
• SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
  セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。 本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。 ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-01-05T21:02:49Z)
• Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
  Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。 10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
  論文  参考訳（メタデータ） (2025-11-25T21:08:07Z)
• MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning [73.27233666920618]
  本稿では,メモリを反復的に保持し,現在のターンと組み合わせたエージェントワークフローであるMemSearcherを提案する。 それぞれのターンで、MemSearcherはユーザーの質問をメモリに融合させ、推論トレースを生成し、検索アクションを実行し、メモリを更新してタスクの解決に必要な情報のみを保持する。 我々は,MemSearcher Agents の推論,検索戦略,メモリ管理を協調的に最適化する,エンドツーエンドの RL フレームワークである Multi-context GRPO を紹介する。
  論文  参考訳（メタデータ） (2025-11-04T18:27:39Z)
• MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents [84.62985963113245]
  我々は,長時間のマルチターンタスクに対して,エージェントが一定のメモリで動作可能な,エンドツーエンドの強化学習フレームワークMEM1を紹介する。 各ターンでMEM1は、メモリ統合と推論を共同でサポートするコンパクトな共有内部状態を更新する。 その結果,MEM1-7Bは16目的のマルチホップQAタスクにおいて,Qwen2.5-14B-Instructと比較してメモリ使用量を3.7倍削減し,3.5倍の性能向上を示す。
  論文  参考訳（メタデータ） (2025-06-18T19:44:46Z)
• Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory [0.5584627289325719]
  大規模言語モデル(LLM)は、文脈的に一貫性のある応答を生成する際、顕著な進歩を示した。 しかし、それらの固定されたコンテキストウィンドウは、長時間のマルチセッション対話に対する一貫性を維持するための根本的な課題を生じさせる。 私たちはMem0というスケーラブルなメモリ中心アーキテクチャを導入し、進行中の会話から健全な情報を動的に抽出し、統合し、取得することでこの問題に対処します。
  論文  参考訳（メタデータ） (2025-04-28T01:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。