論文の概要: Total Cost of Agency: Exact Attribution of Memory Injection Cost in Multi-Agent LLM Workflows
- arxiv url: http://arxiv.org/abs/2609.23790v1
- Date: Sun, 20 Sep 2026 18:23:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.94453
- Title: Total Cost of Agency: Exact Attribution of Memory Injection Cost in Multi-Agent LLM Workflows
- Title(参考訳): エージェントの総コスト:マルチエージェントLLMワークフローにおけるメモリインジェクションコストの具体的な貢献
- Abstract要約: マルチエージェントワークフローのコストをプロンプト、推論、メモリインジェクション、ミスペナルティ、コンテキスト蓄積コンポーネントに分解する。
ワードカウントプロキシからトークンを推定するのではなく、直接トークンを注入する。
- 参考スコア(独自算出の注目度): 0.8770825039504507
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Every node in a multi-agent large language model (LLM) workflow retrieves context from memory and injects it into its prompt, where those injected tokens are billed as input tokens at the same per-token price as the system prompt and the user query. Production observability tools report total token cost but do not separate the tokens a node generates from the tokens it is handed, so this component of the bill is invisible to the teams paying it. We introduce the Total Cost of Agency (TCA), a decomposition of multi-agent workflow cost into base prompt, inference, memory injection, miss penalty and context-accumulation components, and an exact attribution method: a two-pass, non-billable token count that measures injected tokens directly rather than estimating them from word-count proxies. On a 200-task enterprise benchmark executed against real model APIs, memory injection accounts for 13.6 percent of the variable cost a compile-time optimizer can act on, about 12 percent of the full billed cost, and its share rises from a structural zero at workflow depth one to 27.6 percent at depth six. Injected tokens grow linearly with depth over the measured range (R^2 = 0.9974, depths two through six); a quadratic fit yields a negative leading coefficient, so the data do not exhibit convex growth at these depths. We show the component is controllable at fixed model tier: reducing the retrieval window capacity from 32 to 2 entries lowers injected tokens by 28.7 percent with an accuracy change within seed-level variation. We report in full that our graph-rewriting transforms are approximately cost-neutral in isolation, that two of the five decomposition terms are zero by construction in this harness, and that total workflow cost is dominated by model tier assignment, which we hold fixed and treat as prior work. Prompt caching is not evaluated; all figures are for the uncached case.
- Abstract(参考訳): マルチエージェント大言語モデル(LLM)ワークフローの各ノードは、メモリからコンテキストを取得してプロンプトに注入する。
プロダクションオブザーバビリティツールは、合計トークンコストを報告しますが、ノードが処理したトークンからノードが生成したトークンを分離することはできません。
本稿では,多エージェントワークフローのコストをベースプロンプト,推論,メモリインジェクション,ミスペナルティ,コンテキスト蓄積といったコンポーネントに分解するTotal Cost of Agency(TCA)と,ワードカウントプロキシからではなく,直接トークンをインジェクトする2パスの非ビルブルトークンカウント(non-billable token count)を導入する。
実際のモデルAPIに対して200タスクのエンタープライズベンチマークを実行すると、メモリインジェクションは、コンパイル時のオプティマイザが実行可能な変数コストの13.6%、課金された全コストの約12%、そのシェアはワークフローの深さ1で構造ゼロから27.6%まで上昇する。
注入されたトークンは測定範囲の深さ(R^2 = 0.9974, 深さ2から6)で直線的に成長するが、二次的な適合は負のリード係数をもたらすため、この深さでは凸成長を示さない。
検索ウィンドウ容量を32から2エントリに減らし、シードレベルの変動で精度が変化し、注入トークンを28.7%下げる。
筆者らのグラフ書き換え変換は, 概ねコストニュートラルであり, 5つの分解項のうち2つは, このハーネスの構成によってゼロであり, 全体のワークフローコストはモデル階層の割り当てによって支配されており, 固定され, 前処理として扱われる。
プロンプトキャッシングは評価されない。
関連論文リスト
- Trading Depth for Time in Recurrent Transformers [61.2977190038771]
リカレント・トランスフォーマーは時間的繰り返しによって計算深度を増大させる。
追加の計算は、より時間的なステップやより深い物理深度に費やされているか?
本稿では,復号化時に語彙単位のバックボーンフォワードパスを保持するLRT(Latent Recurrent Transformer)を用いて,この問題を考察する。
論文 参考訳(メタデータ) (2026-09-18T10:34:51Z) - Token Reduction Is Not Cost Reduction [0.0]
再建した4成分の約87%に占めるコスト構成は,急激なキャッシュトラフィックが支配的であった。
ローカルペイロードの削減は、エンドツーエンドの請求コストの信頼できる予測器ではなかった。
本稿では,トークンの削減のみではなく,成功調整請求コストによる文脈還元システムの評価を提案する。
論文 参考訳(メタデータ) (2026-07-13T21:10:22Z) - Token Budgets: An Empirical Catalog of 63 LLM-Agent Budget-Overrun Incidents, with an Affine-Typed Rust Mitigation as a Case Study [0.0]
私たちは、アフィンのオーナシップを運用するRustクレートを構築して、クローン、ダブルスペンディング、あるいは予算の使用を委譲することで、オペレータが避けなければならないランタイムのハザードではなくコンパイルエラーを発生させます。
5つのランタイム、3つのプロバイダ、温度階層化されたライブAPIテストで、このアプローチでは、コンカレントワークと同等の動作で、キャップ違反がゼロで、偽の拒否がゼロであることを報告している。
論文 参考訳(メタデータ) (2026-06-02T10:46:57Z) - Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳(メタデータ) (2026-05-28T09:45:47Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳(メタデータ) (2026-04-20T13:25:40Z) - From Multi-Agent to Single-Agent: When Is Skill Distillation Beneficial? [6.434750896227443]
マルチエージェントシステム(MAS)は専門知識を分散することで複雑なタスクに対処するが、これは重度の調整オーバーヘッドの犠牲になることが多い。
スキルユーティリティはタスクではなく評価基準によって管理されていることを示す。
スキルユーティリティの先駆的な予測器であるMetric Freedom(F$)を紹介します。
論文 参考訳(メタデータ) (2026-04-02T04:38:32Z) - Decomposing Reasoning Efficiency in Large Language Models [2.4149105714758545]
我々はトークン効率を、固定されたトークン予算の下での完了、与えられた完了条件の正確性、冗長性といった、解釈可能な要因に分解する。
推論トレースが利用可能であれば、冗長だが拡張された推論からループを分離するために決定論的トレース品質尺度を追加します。
我々の分解は、異なる効率の介入を示唆する異なるボトルネックプロファイルを明らかにします。
論文 参考訳(メタデータ) (2026-02-10T14:09:18Z) - Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。
任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。
CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
論文 参考訳(メタデータ) (2025-10-13T21:07:05Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳(メタデータ) (2025-09-19T04:51:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。