論文の概要: BudgetBench: A Budget-Tiered Protocol and Pilot Harness for Memory Strategy Evaluation in Local Large Language Model Agents

• arxiv url: http://arxiv.org/abs/2609.13149v1
• Date: Wed, 01 Jul 2026 19:15:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.512383
• Title: BudgetBench: A Budget-Tiered Protocol and Pilot Harness for Memory Strategy Evaluation in Local Large Language Model Agents
• Title（参考訳）: BudgetBench: ローカルな大規模言語モデルエージェントのメモリ戦略評価のための予算階層プロトコルとパイロットハーネス
• Abstract要約: BudgetBenchは、メモリ戦略を比較する際に、呼び出しごとの入出力予算を独立変数として扱うアクティブ予算プロトコルである。 予算は2K、4K、8K、16K、32Kのトークンを網羅し、品質、予算利用、レイテンシ、そして第一級の結果として、予算違反率を記録している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For local large language model agents, active context is a scarce resource: memory capacity, prefill latency, cache growth, and service objectives all constrain how many input tokens each call can afford. We present BudgetBench, an active-budget protocol and reference harness that treats the per-call input-token budget as the independent variable when comparing memory strategies. Holding the model, task, sampler, and decoding fixed, it sweeps budgets over 2K, 4K, 8K, 16K, and 32K tokens and records quality, budget utilization, latency, and, as a first-class outcome, budget-violation rates. The core contribution is this reusable measurement surface: a swappable MemoryStrategy contract, explicit budget enforcement, deterministic or versioned graders, prompt-audit metadata, and reproducibility artifacts, released at https://github.com/aviskaar/budgetbench. We substantiate the protocol with pilot studies rather than final rankings. Across a local qwen2.5:1.5b pilot (89 items each on SWE-bench Verified and LongBench v2), a hosted 50-item Qwen3 30B-A3B LongBench replication with exact tokenization, and a 500-item LongMemEval oracle study scored by the official GPT-4o evaluator, the harness exposes budget-compliance failures, non-monotonic quality curves, and operating points that single-budget evaluation hides. The budgeted-versus-full-context direction remains unresolved: the local slice is near-null and the hosted replication favors full context in point estimate. We report results transparently, including that the early pilot's tokenizer approximation undercounts some served-model prompts, so its violation rows are tokenizer-approximation diagnostics, not claim-bearing results; all timings are operational diagnostics. The reusable contribution is the protocol, harness, and failure-reporting discipline needed to scale fixed-budget memory-strategy evaluation.
• Abstract（参考訳）: ローカルな大規模言語モデルエージェントにとって、アクティブコンテキストは不足するリソースである。メモリ容量、プリフィルレイテンシ、キャッシュの増大、サービス目的はすべて、各コールにどれだけの入力トークンが使えるかを制限している。 BudgetBenchは、メモリ戦略を比較する際に、メモリ単位の入出力予算を独立変数として扱うアクティブ予算プロトコルおよび参照ハーネスである。 モデル、タスク、サンプル、デコードが固定され、2K、4K、8K、16K、32Kトークンが記録され、品質、予算利用、レイテンシ、そして第一級の結果、予算違反率が記録される。 交換可能なMemoryStrategy契約、明示的な予算執行、決定的またはバージョン付きグレーダ、プロンプト監査メタデータ、再現性アーティファクト、https://github.com/aviskaar/budgetbenchでリリースされた。 我々はこのプロトコルを最終ランキングではなくパイロットスタディで裏付ける。 地元のqwen2.5:1.5bパイロット(SWE-bench VerifiedとLongBench v2の89項目)、ホストされた50itemのQwen3 30B-A3BのLongBenchレプリケーション、公式のGPT-4o評価器による500itemのLongMemEvalオラクル調査、ハーネスは予算順守の失敗、非単調な品質曲線、単一予算評価が隠す運用ポイントを公開している。 ローカルスライスはほぼヌルであり、ホストされたレプリケーションはポイント推定で完全なコンテキストを好む。 本報告では,初期パイロットのトークン化器近似は有効モデルのプロンプトを下敷きにしているため,違反列はトークン化器近似の診断であり,クレームを含む結果ではない,すべてのタイミングが運用診断である,というように,透過的に報告する。 再利用可能なコントリビューションは、固定予算メモリ・ストラテジー評価のスケールに必要なプロトコル、ハーネス、障害報告の規律である。

関連論文リスト

• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• Retain or Consolidate? Budget-Dependent Operator Selection for Language Agent Memory [20.66995011221925]
  既存のシステムは主にメモリ保持とメモリ統合という2つの戦略に従っている。 この決定は、各オペレータのユーティリティを、保持によって省略された証拠に対するカバレッジ効果に分解することで定式化します。 LongMemEvalでは、厳格な予算では絶対精度を最大48%向上させ、緩やかな予算では維持が望ましい。
  論文  参考訳（メタデータ） (2026-07-20T04:43:47Z)
• ReasonAlloc: Hierarchical Decoding-Time KV Cache Budget Allocation for Reasoning Models [51.947287846779545]
  ReasonAllocはデコード時のKV圧縮を階層的な予算配分問題として再キャストする。 オフラインのレイヤ単位の事前配置戦略は、アーキテクチャ駆動の需要パターンをキャプチャする。 オンラインのヘッドワイド戦略は、リアルタイムユーティリティに基づいた情報豊富なヘッドへのデコード中にリソースを再配置する。
  論文  参考訳（メタデータ） (2026-06-09T17:44:23Z)
• Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
  emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。 EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
  論文  参考訳（メタデータ） (2026-05-28T09:45:47Z)
• Uncertainty-Aware Budget Allocation for Adaptive Test-Time Reasoning [13.41454380481593]
  不確実性を考慮した予算割当(Uncertainty-Aware Budget Allocation、UAB)は、追加の推論コストなしで見積もられた要求当たりの不確実性に基づいて、固定サンプリング予算を再配置する凹型整数最適化フレームワークである。 1.5Bから27Bパラメータにまたがる6つのオープンウェイトモデルとブラックボックスモデルと、数学、論理学、選好タスクをカバーする5つの推論ベンチマークを評価した。
  論文  参考訳（メタデータ） (2026-05-26T11:06:58Z)
• When Independent Sampling Outperforms Agentic Reasoning [4.226475360842309]
  固定予算下での競合プログラミングのための推論時間計算の割り当てについて検討する。 モデル呼び出しのコストと回数の両方の関数として,エージェントベースの推論と反復的な独立サンプリング(k-shot)を比較した。
  論文  参考訳（メタデータ） (2026-05-08T20:53:51Z)
• When Stored Evidence Stops Being Usable: Scale-Conditioned Evaluation of Agent Memory [4.425240080125479]
  本稿では,エビデンス保存型成長下でのエージェントメモリのスケールコンディション評価プロトコルを提案する。 各クエリに対して、タスクエビデンスが固定され、無関係なセッションが追加される。 このプロトコルはエージェントメモリトラジェクトリをログし、4つの診断結果を報告する。
  論文  参考訳（メタデータ） (2026-05-08T06:22:31Z)
• Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory [56.0946692457838]
  BudgetMemは、明示的でクエリ対応のパフォーマンスコスト管理のためのランタイムエージェントメモリフレームワークである。 軽量ルータは、タスク性能とメモリ構築コストのバランスをとるために、モジュール間の予算層ルーティングを実行する。 LoCoMo、LongMemEval、HotpotQAの他、BudgetMemはパフォーマンスが優先されるときに、強力なベースラインを超える。
  論文  参考訳（メタデータ） (2026-02-05T18:57:09Z)
• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。