論文の概要: LIMBO: Lifelong Inference-Time Memory and Budget Optimization for LLM Agents
- arxiv url: http://arxiv.org/abs/2609.14138v1
- Date: Sat, 12 Sep 2026 20:39:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.710176
- Title: LIMBO: Lifelong Inference-Time Memory and Budget Optimization for LLM Agents
- Title（参考訳）: LIMBO:LLMエージェントの寿命推定時間メモリと予算最適化
- Abstract要約: 生涯のエージェントは、学習したタスクの能力を維持しながら、新しい機能を継続的に獲得しなければならない。
リプレイは無料ではなく、全てのトラジェクトリ・リプレイは、検索、推論、ツールの使用、そして同じ制限されたプロンプトと計算予算に対する検証と競合する。
メモリを制御可能な推論時間リソースとして扱う最初のオンラインフレームワークであるLIMBOを紹介する。
- 参考スコア（独自算出の注目度）: 9.854318378634874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As LLM agents become integrated into increasingly complex workflows, they must continually acquire new capabilities while retaining competence on previously learned tasks. Lifelong agents address this through experience replay, injecting past interactions into the prompt to leverage prior experience during inference. However, replay is not free: every replayed trajectory competes with retrieval, reasoning, tool use, and verification for the same limited prompt and compute budget, making effective resource allocation essential. Existing approaches allocate these resources using fixed replay policies, regardless of whether replay is beneficial for the current task. We identify this as inference-time memory allocation, a distinct problem class for lifelong agents, and introduce LIMBO: the first online framework to our knowledge that treats memory as a controllable inference-time resource and jointly optimizes memory strategy and inference budget for each incoming task. Unlike prior approaches that fix the replay policy or require model weights, teacher supervision, or offline retraining, LIMBO learns this allocation online in a single pass, explicitly balancing task performance and inference cost without modifying the underlying agent. Across three LLM backbones on LifelongAgentBench, LIMBO achieves better cost-accuracy tradeoffs than state-of-the-art memory-augmented baselines and nearly matches all strongest such baselines at up to ~83% lower inference cost (~53% on average). LIMBO adapts its policy across models and environments without retraining, demonstrating that effective allocation can be learned online rather than manually specified.
- Abstract（参考訳）: LLMエージェントがますます複雑なワークフローに統合されるにつれて、これまで学んだタスクの能力を維持しながら、新たな能力を継続的に獲得する必要がある。
ライフロングエージェントは、経験的なリプレイを通じてこの問題に対処し、過去のインタラクションを推論中に事前の経験を活用するプロンプトに注入する。
しかし、リプレイは無料ではない: すべてのリプレイされた軌道は、検索、推論、ツールの使用、同じ限られたプロンプトと計算予算に対する検証と競合し、効果的なリソース割り当てが不可欠である。
既存のアプローチでは、現在のタスクにリプレイが有益かどうかに関わらず、固定されたリプレイポリシーを使用してこれらのリソースを割り当てる。
LIMBOは、メモリを制御可能な推論時間リソースとして扱い、各タスクに対するメモリ戦略と推論予算を協調的に最適化する、私たちの知識に対する初めてのオンラインフレームワークである。
リプレイポリシーの修正やモデルウェイト、教師監督、オフラインリトレーニングといった従来のアプローチとは異なり、LIMBOはこの割り当てを単一のパスでオンラインで学習し、基礎となるエージェントを変更することなくタスクのパフォーマンスと推論コストを明示的にバランスさせる。
LifelongAgentBenchの3つのLCMバックボーンで、LIMBOは最先端のメモリ拡張ベースラインよりもコスト精度のトレードオフを実現し、最大83%の推論コスト(平均53%)で最強のベースラインとほぼ一致している。
LIMBOは、リトレーニングなしでモデルや環境にポリシーを適用し、効果的なアロケーションが手作業で指定するのではなくオンラインで学習できることを実証する。
関連論文リスト
- Learning What to Remember: Observability-Safe Memory Retention via Constrained Optimization for Long-Horizon Language Agents [16.193335398478386]
ロングホライゾンの言語エージェントは、観測、トレースの推論、および検索された事実のウィンドウを蓄積する。
既存のシステムは、保持を局所的に扱い、可観測性制約の下での長期的な影響をモデル化しない。
我々は,オンライン・オブザーバブル機能とオフライン・アベイラビリティ・インスペクションの厳格な分離を強制する学習強化フレームワークOSL-MRを提案する。
論文 参考訳（メタデータ） (2026-06-09T09:15:33Z) - MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
大きな言語モデル(LLM)は、長期化タスクにますます使われています。
現在の手法はコストと精度のトレードオフに直面している。
MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
論文 参考訳（メタデータ） (2026-03-03T02:57:38Z) - Memory-Based Advantage Shaping for LLM-Guided Reinforcement Learning [18.215893951726166]
スパースや遅延した報酬のある環境では、強化学習は高いサンプル複雑さを引き起こす。
この制限は、大規模言語モデル(LLM)をサブゴール発見や軌道誘導に使う動機となった。
LLMガイダンスとエージェント自身のロールアウトの成功の両方から,サブゴールとトラジェクトリを符号化したメモリグラフを構築することで,これらの課題に対処する。
論文 参考訳（メタデータ） (2026-02-20T01:44:35Z) - MIRA: Memory-Integrated Reinforcement Learning Agent with Limited LLM Guidance [18.215893951726166]
大規模言語モデル(LLM)は、早期学習を容易にするサブゴール分解、可塑性軌跡、抽象的な事前情報を提供することができる。
本稿では,MIRA (Memory-Integrated Reinforcement Learning Agent) を提案する。
論文 参考訳（メタデータ） (2026-02-20T01:43:30Z) - Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。
JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。
WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
論文 参考訳（メタデータ） (2026-01-26T14:16:51Z) - Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents [57.38404718635204]
大規模言語モデル (LLM) エージェントは、有限コンテキストウィンドウによる長距離推論において基本的な制限に直面している。
既存のメソッドは通常、長期記憶(LTM)と短期記憶(STM)を独立したコンポーネントとして扱う。
本稿では,エージェントのポリシーに LTM と STM 管理を直接統合する統合フレームワークである Agentic Memory (AgeMem) を提案する。
論文 参考訳（メタデータ） (2026-01-05T08:24:16Z) - From Experience to Strategy: Empowering LLM Agents with Trainable Graph Memory [48.22750809620306]
大規模言語モデル(LLM)に基づくエージェントは、自律的なタスク解決において顕著な可能性を示している。
本稿では,エージェント中心型,トレーニング可能な,多層グラフメモリフレームワークを提案する。
コンテクストメモリがLLMの情報活用能力をいかに向上させるかを示す。
論文 参考訳（メタデータ） (2025-11-11T03:36:33Z) - Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。
本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
論文 参考訳（メタデータ） (2025-08-27T12:26:55Z) - Memento: Fine-tuning LLM Agents without Fine-tuning LLMs [36.3424780932712]
本稿では,適応型大言語モデル(LLM)エージェントのための新しい学習パラダイムを提案する。
本手法は,メモリベースのオンライン強化学習により,低コストで連続的な適応を可能にする。
我々はエージェントモデルを,GAIA検証でトップ1に達するemphMementoというディープリサーチ環境でインスタンス化する。
論文 参考訳（メタデータ） (2025-08-22T07:25:30Z) - Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。
A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。
PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
論文 参考訳（メタデータ） (2025-05-27T03:58:50Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。