論文の概要: Agents Are Systems, Not Models: Rethinking Agentic Evaluation

• arxiv url: http://arxiv.org/abs/2610.01618v1
• Date: Thu, 01 Oct 2026 12:55:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.137342
• Title: Agents Are Systems, Not Models: Rethinking Agentic Evaluation
• Title（参考訳）: エージェントはシステムであってモデルではない - エージェント評価を再考する
• Abstract要約: エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。 結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。 ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
• 参考スコア（独自算出の注目度）: 80.87068485535677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent evaluations increasingly go beyond a single success rate, reporting metrics such as cost, consistency, and robustness. Yet they typically treat the agent itself as fixed. In practice, an agent is a configurable system: users decide what to tell it, how long to let it run, and which model to use, and each of these choices can change how well and how consistently it performs. We study these choices on a new benchmark of four scientific tasks, where a coding agent must find and correctly operate a published specialist model. We investigate five parts of the agent's configuration: task information, reasoning, self-verification, time budget, and backbone model. We find substantial run-to-run variability, with approximately 54% of the outcome variance coming from repeating the same configuration rather than changing it. Across configurations, the information provided to the agent has the largest effect, exceeding both time budget and model size, while also reducing cost and improving calibration. Configuration choices also interact: additional time helps only when the agent has sufficient information or a capable enough model to use it. Finally, a trajectory-based taxonomy of agent behavior reveals that prompting an agent to verify its answer has little effect on its verification behavior, whereas providing a dedicated verification tool changes that behavior substantially. These results suggest that agents should be evaluated as configurable systems themselves, and that some desired behaviors are more effectively implemented in the system than requested through prompting. We release the benchmark and more than 18,000 agent trajectories.
• Abstract（参考訳）: エージェント評価は、コスト、一貫性、堅牢性といったメトリクスを報告し、単一の成功率を超えています。 しかし、彼らは通常、エージェント自体を固定として扱う。 実際にエージェントは、設定可能なシステムである。ユーザは、何を指示するか、どれを走らせるか、どのモデルを使うかを決め、これらの選択は、それがどれだけうまく、どれだけ一貫して機能するかを変えることができる。 我々は、これらの選択を4つの科学的タスクの新しいベンチマークで研究し、そこでは、コーディングエージェントが発行されたスペシャリストモデルを見つけ、正しく操作する必要がある。 本稿では,タスク情報,推論,自己検証,時間予算,バックボーンモデルという,エージェントの構成の5つの部分について検討する。 結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。 構成全体にわたって、エージェントに提供された情報は、時間予算とモデルサイズの両方を超越し、コストを削減し、キャリブレーションを改善する、最大の効果を持つ。 追加の時間は、エージェントが十分な情報またはそれを使用するのに十分なモデルを持っている場合に限られます。 最後に、エージェントの行動の軌跡に基づく分類法は、エージェントにその答えを検証させると、その検証行動にはほとんど影響を与えず、一方で専用の検証ツールを提供することは、その行動を大きく変えることを明らかにしている。 これらの結果から,エージェントは設定可能なシステムとして評価されるべきであり,要求されるプロンプトよりも望ましい動作がシステム内でより効果的に実装されることが示唆された。 ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。

関連論文リスト

• Self-Improvements in Modern Agentic Systems: A Survey [41.489651986702405]
  自己改善型自律エージェントは、研究プロトタイプからデプロイシステムへと移行している。 この調査は、現代の自己改善エージェントを、経験を蓄積された能力ゲインに変換する適応システムとして捉えている。
  論文  参考訳（メタデータ） (2026-07-14T09:12:57Z)
• Agent trajectories as programs: fingerprinting and programming coding-agent behavior [0.49316866264940024]
  ベンチマークスコアは、エージェントが正しいことを教えてくれます。 本研究では,モデル,タスク,アプローチが異なる状況下で,エージェントを手続き的に比較する手法を提案する。 これらの手続き的シグネチャに対する調査では、正しいエージェントに対して85.7%の精度で見当たらない軌跡があり、タスク間のリークを制御している。
  論文  参考訳（メタデータ） (2026-06-15T17:28:41Z)
• Your Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems [60.79651380135334]
  長寿命のAIエージェントは、永続的な運用システムとしてますますデプロイされる。 エージェントはデプロイ後、いつまで信頼できるのか? エージェントライフスパンエンジニアリングのための縦型信頼性ベンチマークであるAgingBenchを紹介する。
  論文  参考訳（メタデータ） (2026-05-25T19:55:12Z)
• How to Interpret Agent Behavior [56.59836196946289]
  本稿では,エージェントの動作を実行時に記述・解析するための分類法であるACT*ONOMYを紹介する。 共用語彙を提供することで、ACT*ONOMYは研究者、エージェントデザイナー、エンドユーザーがエージェントの振る舞いをより一貫して解釈するのに役立つ。
  論文  参考訳（メタデータ） (2026-05-13T14:52:40Z)
• Agent Mentor: Framing Agent Knowledge through Semantic Trajectory Analysis [4.365760422569902]
  我々は、Agent Mentorオープンソースライブラリの一部として実装された分析パイプラインを紹介する。 システムの監視と漸進的な適応によって、他のエージェントの振る舞いを定義する。 パイプラインは、エージェントの知識に修正命令を体系的に注入することで、パフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2026-04-12T08:02:54Z)
• AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent [57.10083973844841]
  AgentArkは、マルチエージェントダイナミクスを単一のモデルの重みに蒸留する新しいフレームワークである。 各種モデル,タスク,スケーリング,シナリオの3つの階層的蒸留戦略について検討する。 シミュレーションからトレーニングへ計算の負担をシフトさせることで、蒸留されたモデルは、複数のエージェントの強い推論と自己補正性能を示しながら、一つのエージェントの効率を保ちます。
  論文  参考訳（メタデータ） (2026-02-03T19:18:28Z)
• Inefficiencies of Meta Agents for Agent Design [25.46718879564119]
  メタエージェントの共通クラスにおける3つの課題について検討する。 まず、メタエージェントがイテレーション間でどのように学習するかを検討する。 第二に、メタエージェントはトレーニング中に複数のエージェントを設計するが、通常、テスト時に単一のエージェントをコミットする。
  論文  参考訳（メタデータ） (2025-10-08T07:06:17Z)
• Towards Adaptive Software Agents for Debugging [0.40964539027092917]
  本稿では,エージェントの数とその役割を動的に決定する適応型エージェント設計を提案する。 最初の評価では、適応設計では、生成されるエージェントの数はバグのあるコードの複雑さに依存することが示されている。 治療効果は, ワンショットプロンプトよりも平均11%改善した。
  論文  参考訳（メタデータ） (2025-04-25T12:48:08Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。 本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。