論文の概要: AgentPProf: Semantic Profiler for Long Horizon AI Agents
- arxiv url: http://arxiv.org/abs/2609.20301v1
- Date: Mon, 14 Sep 2026 02:46:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.277815
- Title: AgentPProf: Semantic Profiler for Long Horizon AI Agents
- Title(参考訳): AgentPProf: 長距離AIエージェントのセマンティックプロファイラ
- Abstract要約: エージェントトラジェクトリにプロファイリングを適用する意味操作スタックモデルを提案する。
AgentPProfは、エージェントのトラジェクトリをpprof互換プロファイルに集約するプロファイラである。
- 参考スコア(独自算出の注目度): 5.220887066592765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents increasingly orchestrate long-running activities with users, tools, and system resources for days and weeks. To improve agent quality, safety, and cost efficiency, developers need to determine where failures happen, what triggers unsafe effects, and which tasks consume the most budget, then optimize those tasks. In systems software, profiling answers similar questions by aggregating resource consumption and attributing it to responsible code paths to identify hotspots. Yet existing agent observability tools focus on per-execution debugging and tracing rather than cross-run, long term profiling, making these questions difficult to answer at scale. Agent observability needs profiling, not only debugging, but profiling agents is challenging: the responsible entities are task intent like diagnose authentication, compare branches rather than code paths, and lack stable identifiers for aggregation. We propose a semantic operation stack model that adapts profiling to agent trajectories. Uniform operations represent all activities, and operation stacks replace the runtime call stack, enabling hierarchical attribution at different granularities. We observe that an agent's task occupies a contiguous span and decomposes into subtasks, so we introduce recursive operation segmentation, which recursively splits trajectories at task boundaries. AgentPProf is a profiler that aggregates agent trajectories into pprof-compatible profiles, enabling flame graph visualization and analysis. AgentPProf reaches 0.764 $B^3$ F1 against human annotations on CodeTraceBench. On three problem-localization benchmarks, the profile raises MAP by up to 56%, demonstrating that it effectively attributes resources, locates problems, and helps optimize token cost at practical profiling cost. AgentPProf is available at https://github.com/eunomia-bpf/agentsight.
- Abstract(参考訳): AIエージェントは、ユーザやツール、システムリソースと何日も何週間もの間、長期にわたる活動を編成するようになっている。
エージェントの品質、安全性、コスト効率を改善するためには、開発者は障害の発生場所、安全でない影響を引き起こす要因、どのタスクが最も予算を消費するかを判断し、それらのタスクを最適化する必要がある。
システムソフトウェアでは、プロファイリングはリソース消費を集約し、ホットスポットを特定するための責任あるコードパスに関連付けることで、同様の質問に答える。
しかし、既存のエージェントオブザーバビリティツールは、クロスランで長期的なプロファイリングではなく、実行時デバッグとトレースに重点を置いているため、これらの質問は大規模に答えるのが難しくなっている。
エージェントオブザーバビリティはプロファイリングを必要とし、デバッグだけでなく、プロファイリングエージェントも難しい。責任あるエンティティは、認証などのタスクインテントであり、コードパスではなくブランチを比較し、アグリゲーションのための安定した識別子を欠いている。
エージェントトラジェクトリにプロファイリングを適用する意味操作スタックモデルを提案する。
均一な操作はすべてのアクティビティを表し、オペレーションスタックはランタイムコールスタックを置き換えることで、さまざまな粒度の階層的属性を可能にする。
エージェントのタスクは連続したスパンを占有し,サブタスクに分解されるので,タスク境界における軌道を再帰的に分割する再帰的操作セグメンテーションを導入する。
AgentPProfは、エージェントのトラジェクトリをpprof互換プロファイルに集約するプロファイラで、火炎グラフの可視化と分析を可能にする。
AgentPProfはCodeTraceBench上のヒューマンアノテーションに対して0.764$B^3$F1に達する。
3つの問題局所化ベンチマークにおいて、プロファイルはMAPを最大56%引き上げ、リソースを効果的に属性し、問題を特定し、実際のプロファイリングコストでトークンコストの最適化を支援する。
AgentPProfはhttps://github.com/eunomia-bpf/agentsight.comから入手できる。
関連論文リスト
- From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳(メタデータ) (2026-08-03T12:52:04Z) - AgentSLABench: Evaluating and Benchmarking Agentic Systems Under Resource Constraints [0.0]
AgentSLABenchは、自律型AIエージェントのためのリソース認識評価フレームワークである。
宣言されたリソース予算の下で、レイテンシ、コスト、計算、メモリ、ネットワーク使用量とともに正確性を測定する。
論文 参考訳(メタデータ) (2026-08-01T18:17:47Z) - Leveraging Trajectory Graphs for Pre-Execution Error Diagnosis in Agentic LLM Systems [47.66236392009794]
LLM(Large Language Model)ベースのエージェントは、様々な複雑な対話的タスクにおいて、例外的なパフォーマンスを示す。
textitTrajectory Graph Copilot は LLM エージェントの副操縦士' として機能する新しいフレームワークで,実行前に潜在的な動作エラーを診断する。
論文 参考訳(メタデータ) (2026-07-29T20:14:43Z) - OrchBench: Evaluating Multi-Agent Orchestration Plans in Isolation via Deterministic Simulation [41.885817564161975]
シミュレーションに基づくマルチエージェントオーケストレーション計画評価ベンチマークであるOrchBenchについて述べる。
決定論的シミュレータは、労働者エージェントを呼び出すことなく、結果の計画を評価し、結果の質、メースパン、トークンコストの解釈可能な尺度を返す。
多様なプランナーやワークフローの規模で見ると、単にエージェントの数を増やすよりも、タスククリティカルな情報を保存することが重要であることが分かります。
論文 参考訳(メタデータ) (2026-07-28T12:43:34Z) - AgentTrails: Towards Trust and Reuse for Agentic Tasks [12.615897924172812]
LLMベースのエージェントは、ツールの呼び出し、データベースのクエリ、コードの実行、中間アーティファクトの操作によって複雑なタスクに対処する。
これらのエージェントは、通常、時系列ログとして格納されるトラジェクトリに従い、基礎となるデータフローを隠蔽する。
本稿ではエージェント証明とセンスメイキングのためのプロトタイプシステムであるAgentTrailsを紹介する。
論文 参考訳(メタデータ) (2026-07-21T07:53:58Z) - PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization [18.924749191192433]
パフォーマンスの最適化は独特なエージェント的タスクである。
本稿では,このフルパフォーマンス・エンジニアリング・ループを評価するベンチマークであるPERFOPT-Benchを紹介する。
論文 参考訳(メタデータ) (2026-07-08T08:32:18Z) - GenericAgent: A Token-Efficient Self-Evolving LLM Agent via Contextual Information Density Maximization (V1.0) [56.81743709880371]
Long-Horizon Large Language Model (LLM) エージェントは、コンテキストによって根本的に制限される。
長い水平性能は、文脈長ではなく、有限の文脈予算内で意思決定関連情報がどれだけ維持されているかによって決定される。
我々は、情報密度とコンテキストの1つの原理に基づいて構築された汎用的自己進化型LLMエージェントシステムであるGenericAgent(GA)を提案する。
論文 参考訳(メタデータ) (2026-04-18T17:59:15Z) - AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。
プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。
AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
論文 参考訳(メタデータ) (2025-11-11T14:57:54Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳(メタデータ) (2025-08-05T12:52:09Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳(メタデータ) (2024-08-02T03:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。