論文の概要: The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluation
- arxiv url: http://arxiv.org/abs/2607.11149v2
- Date: Thu, 16 Jul 2026 06:53:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 14:53:42.205451
- Title: The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluation
- Title（参考訳）: 隠れた足跡:LLMエージェント評価のための第一級メトリクスを作る
- Abstract要約: LLMエージェントベンチマークは、タスクの完了、信頼性、推論コストを測定するが、エージェントがディスクに残す永続的なデータではない。
AgentFootprintは、実行後のエージェントストレージフットプリントのクロスフレームベンチマークである。
- 参考スコア（独自算出の注目度）: 29.747532095696965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agent benchmarks measure task completion, reliability, and inference cost, but not the persistent data an agent run leaves on disk, including logs, context snapshots, checkpoints, and debug traces. We introduce AgentFootprint, a cross-framework benchmark of post-run agent storage footprint. Its serialization-aware metric suite measures total retention, channel composition, duplication, growth, compressibility, and conversation-history reconstructability. It addresses a measurement trap: naive byte-level measurement understates duplication by an order of magnitude because database paging and JSON escaping obscure repeated content. A fixed-trace control separates agent-generated logical volume from persistence-layer amplification: replaying the same trajectory through seven persisting frameworks yields a 6.7x spread. Under identical models, tools, and tasks, configurations with 100% accuracy differ by 15.7x in retained bytes, although their defaults support different recovery and audit capabilities. Three full-history configurations grow superlinearly on a repeated-observation stress task. Exported trajectories from 108 instance-normalized SWE-bench Verified submissions span three orders of magnitude per instance, with no detectable correlation with resolve rate. A content-addressed store reduces retention by 4.8x-32.7x while preserving every reconstructability score. These results establish persistent storage as a resource metric to report jointly with accuracy and reconstructability.
- Abstract（参考訳）: LLMエージェントベンチマークは、タスクの完了、信頼性、推論コストを計測するが、エージェントがディスク上に残す永続データには、ログ、コンテキストスナップショット、チェックポイント、デバッグトレースが含まれる。
AgentFootprintは、実行後のエージェントストレージフットプリントのクロスフレームベンチマークである。
そのシリアライズ対応計量スイートは、総保持、チャネル構成、重複、成長、圧縮性、会話履歴の再構築可能性を測定する。
単純なバイトレベルの測定は、データベースのページングとJSONが不明瞭な繰り返しコンテンツをエスケープするため、重複を桁違いに処理する。
固定トレース制御はエージェント生成論理ボリュームを永続層増幅から分離する。
同じモデル、ツール、タスクの下では、100%の精度を持つ設定は保持バイトで15.7倍異なるが、デフォルトは異なるリカバリと監査機能をサポートしている。
3つのフルヒストリー構成は、繰り返し観測されるストレスタスクで超直線的に成長する。
108のインスタンス正規化 SWE-bench Verified サブミッションから抽出されたトラジェクトリは、リゾルフレートと検出可能な相関を伴わず、1インスタンスあたりの3桁の大きさに分散する。
コンテンツ対応ストアは、コンストラクタビリティスコア毎に保存しながら、保持を4.8x-32.7x削減する。
これらの結果は、精度と再構築性と共に報告するリソースメトリックとして永続的なストレージを確立する。
関連論文リスト
- Forgetting Without Restarting: Execution-State Unlearning for Stateful LLM Agents [12.985773309621964]
Provenance-Guided Selective Replayは、プロンプト、圧縮メモリ、キャッシュにまたがるクロスレイヤコントラクトとしてバインドされる。
我々は,3つのエージェントスイート,9つのベースライン,3つのモデルファミリに対して,エレケーション,キャッシュ,文字列フリーな動作テストで監査を行った。
論文 参考訳（メタデータ） (2026-09-04T08:31:40Z) - SkillGLoW: Procedural-Family Skill Consolidation for Self-Improving Agents on Long-Horizon Task Streams [55.90739575113059]
再利用の欠如は、関連するタスクのクラスタによって共有される解決手順であり、その周りでSkillGLoWを構築している、と我々は主張する。
4つのベンチマーク(数学的推論、端末の自動化、ソフトウェア修復、実施制御)と3つのモデルで、前者は平均17.2ポイント(ハード)を獲得している。
論文 参考訳（メタデータ） (2026-09-02T07:31:18Z) - Identifying Latent Declarative Representations of Code for Assisting Repository Migration [0.7763235307178853]
ADFD-Migrateは、潜在表現を、プロセス、データストア、外部エンティティ、フロー、行動契約の注釈付きデータフロー図(ADFD)で近似する。
aDFD-Migrate on f2x50, a new benchmark of 50Fortran repository across 1.5k--1.6M code and three complexity tiers。
論文 参考訳（メタデータ） (2026-08-22T08:23:14Z) - SCOUT: Symmetric Consensus Outlier Detection for Failure Localization in LLM Pre-Training [7.018753691717986]
事前トレーニングでは、同期は、ランクローカルなストール、スローダウン、数値的なエラーをジョブワイドな症状へと伝播し、その起源を隠蔽する。
SCOUTは1つの設計原則に基づいて構築された統一型ランタイム障害局所化フレームワークである。
SCOUTはトレーニングループやフレームワークソースの変更なしに、PyTorch、TorchTitan、Megatron-Core、DeepSpeedと統合されている。
論文 参考訳（メタデータ） (2026-08-11T15:12:14Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。
MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。
長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
論文 参考訳（メタデータ） (2026-07-14T15:33:44Z) - Rethinking Complexity Metrics for LLM-Integrated Applications: Beyond Source Code [27.806059099002507]
我々は、これらのアプリケーションのプロンプト層とコード層の複雑さを評価するために設計された最初のツールであるHECATEを紹介する。
HECATEの中心はPrompt-as-Specificationであり、これはホーア論理に着想を得た形式主義であり、全てのプロンプトを意図された振る舞いの仕様として解釈する。
論文 参考訳（メタデータ） (2026-07-02T09:02:08Z) - MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。
我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。
私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
論文 参考訳（メタデータ） (2026-06-23T13:52:46Z) - VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct [71.22358682581215]
ビジュアルな数学的推論のための強化学習のスケーリングは、難しい質問を生成すること以上のものを必要とします。
これは2つのコンポーネントからなる反復的なフレームワークであるVeriEvolとしてインスタンス化します。
5ベンチマークのビジュアル・マス・スイートでは、10Kから250KサンプルまでのSFTデータのスケーリングが平均精度を35.42から54.73に引き上げている。
論文 参考訳（メタデータ） (2026-06-22T16:17:30Z) - RepoMirage: Probing Repository Context Reasoning in Code Agents with Perturbations [51.43574078961796]
本稿では,SWE-Bench Verified上に構築された2段階評価スイートRepoMirageを紹介する。
RepoMirage-Perturbは、リポジトリレベルの摂動を保存する3つのタイプのセマンティクスを適用している。
RepoAnchorは、下流の問題解決からリポジトリの探索を分離する構造第一のプロトタイプワークフローである。
論文 参考訳（メタデータ） (2026-05-25T06:26:43Z) - MemLineage: Lineage-Guided Enforcement for LLM Agent Memory [3.058164432275431]
我々は,LLMエージェントメモリの防衛機能であるMemLineageを紹介した。
最近のコンカレントな作業は、信頼できないコンテンツを永続的なエージェントの状態に書き込むことができ、後続のセッションを命令として再入力できることを示している。
MemLineageは、これをフィルタリング問題ではなく、チェーンオブカストディ問題として扱う。
論文 参考訳（メタデータ） (2026-05-14T06:07:54Z) - MEME: Multi-entity & Evolving Memory Evaluation [76.57263966646404]
MEMEは、マルチエンタリティと進化する軸によって定義される全空間にまたがる6つのタスクを定義している。
3つの記憶パラダイムにまたがる6つの記憶システムの評価。
デフォルト設定の下では、すべてのシステムが依存性の推論で崩壊しているのが分かります。
論文 参考訳（メタデータ） (2026-05-12T17:55:10Z) - RewardHackingAgents: Benchmarking Evaluation Integrity for LLM ML-Engineering Agents [0.9821874476902969]
LLMエージェントは、単一のスカラーテストメトリクスで成功を判断するエンドツーエンドのMLエンジニアリングタスクをますます実行します。
エージェントは、モデルを改善するのではなく、評価パイプラインを妥協することで、報告されたスコアを増やすことができる。
ワークスペースベースのベンチマークであるRewardHackingAgentsを導入する。
論文 参考訳（メタデータ） (2026-03-11T22:06:44Z) - AgentSys: Secure and Dynamic LLM Agents Through Explicit Hierarchical Memory Management [47.49917373646469]
既存の防御は肥大した記憶を与えられたまま扱い、回復力を維持することに集中する。
我々は、明示的なメモリ管理を通じて間接的なインジェクションを防御するフレームワークであるAgentSysを紹介する。
論文 参考訳（メタデータ） (2026-02-07T06:28:51Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - Tracezip: Efficient Distributed Tracing via Trace Compression [26.353398496686854]
分散トレースは、クラウドサービスシステムの監視とテストにおいて、基本的なビルディングブロックとして機能する。
ヘッドベースサンプリングは、システムに入ると追跡するリクエストを無差別に選択する。
テールベースのサンプリングは、まずすべてのリクエストをキャプチャし、次にエッジケーストレースを選択的に永続化する。
トレース圧縮による分散トレースの効率を向上させるため,Tracezipを提案する。
論文 参考訳（メタデータ） (2025-02-10T10:13:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。