論文の概要: AgentArcEval: An Architecture Evaluation Method for Foundation Model based Agents
- arxiv url: http://arxiv.org/abs/2510.21031v1
- Date: Thu, 23 Oct 2025 22:32:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 09:00:15.334819
- Title: AgentArcEval: An Architecture Evaluation Method for Foundation Model based Agents
- Title（参考訳）: AgentArcEval: 基礎モデルに基づくエージェントのアーキテクチャ評価方法
- Authors: Qinghua Lu, Dehai Zhao, Yue Liu, Hao Zhang, Liming Zhu, Xiwei Xu, Angela Shi, Tristan Tan, Rick Kazman,
- Abstract要約: 本稿では,FMベースのエージェントアーキテクチャの複雑さに対処するために特別に設計されたエージェントアーキテクチャ評価手法であるAgentArcEvalを提案する。
エージェント固有の汎用シナリオのカタログも提示し、エージェントアーキテクチャの設計と評価のための具体的なシナリオを生成するためのガイドとして機能する。
- 参考スコア（独自算出の注目度）: 25.51779417301816
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emergence of foundation models (FMs) has enabled the development of highly capable and autonomous agents, unlocking new application opportunities across a wide range of domains. Evaluating the architecture of agents is particularly important as the architectural decisions significantly impact the quality attributes of agents given their unique characteristics, including compound architecture, autonomous and non-deterministic behaviour, and continuous evolution. However, these traditional methods fall short in addressing the evaluation needs of agent architecture due to the unique characteristics of these agents. Therefore, in this paper, we present AgentArcEval, a novel agent architecture evaluation method designed specially to address the complexities of FM-based agent architecture and its evaluation. Moreover, we present a catalogue of agent-specific general scenarios, which serves as a guide for generating concrete scenarios to design and evaluate the agent architecture. We demonstrate the usefulness of AgentArcEval and the catalogue through a case study on the architecture evaluation of a real-world tax copilot, named Luna.
- Abstract（参考訳）: ファンデーションモデル(FM)の出現は、高度な能力と自律的なエージェントの開発を可能にし、幅広い領域にわたる新しいアプリケーション機会を解放した。
エージェントのアーキテクチャを評価することは特に重要であり、複雑なアーキテクチャ、自律的かつ非決定的な振る舞い、継続的な進化など、エージェントの品質特性に重要な影響を与える。
しかし、これらの従来の手法は、エージェントのユニークな特性のため、エージェントアーキテクチャの評価ニーズに対処するには不十分である。
そこで本稿では,FMベースのエージェントアーキテクチャの複雑さとその評価に特化して設計されたエージェントアーキテクチャ評価手法であるAgentArcEvalを提案する。
さらに,エージェント固有の汎用シナリオのカタログを提示し,エージェントアーキテクチャの設計と評価を行うための具体的なシナリオを生成するためのガイドとして機能する。
本稿では,AgentArcEvalとカタログの有用性を実世界の納税者Lunaの建築評価のケーススタディを通じて実証する。
関連論文リスト
- Reimagining Agent-based Modeling with Large Language Model Agents via Shachi [16.625794969005966]
大規模言語モデル(LLM)によるマルチエージェントシステムにおける創発的行動の研究は重要な研究課題である。
エージェントのポリシーをコア認知コンポーネントに分解する形式的方法論とモジュラーフレームワークであるShachiを紹介する。
提案手法を総合的な10タスクベンチマークで検証し,新しい科学的探究を通じてその能力を実証する。
論文 参考訳（メタデータ） (2025-09-26T04:38:59Z) - AgentArch: A Comprehensive Benchmark to Evaluate Agent Architectures in Enterprise [0.0]
本稿では、オーケストレーション戦略、エージェントプロンプト実装(ReAct vs. 関数呼び出し)、メモリアーキテクチャ、思考ツール統合の4つの重要なエージェントシステム側面について検討する。
我々のベンチマークでは、エージェントAIシステムにおいて、一般的なワンサイズ・オールパラダイムに挑戦する、重要なモデル固有のアーキテクチャ上の嗜好を明らかにしている。
論文 参考訳（メタデータ） (2025-09-13T01:18:23Z) - A Comprehensive Survey of Self-Evolving AI Agents: A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems [53.37728204835912]
既存のAIシステムは、デプロイ後も静的な手作業による構成に依存している。
近年,インタラクションデータと環境フィードバックに基づいてエージェントシステムを自動拡張するエージェント進化手法が研究されている。
この調査は、自己進化型AIエージェントの体系的な理解を研究者や実践者に提供することを目的としている。
論文 参考訳（メタデータ） (2025-08-10T16:07:32Z) - Cognitive Kernel-Pro: A Framework for Deep Research Agents and Agent Foundation Models Training [67.895981259683]
汎用AIエージェントは、次世代人工知能の基礎となるフレームワークとして、ますます認識されている。
現在のエージェントシステムはクローズドソースか、さまざまな有料APIやプロプライエタリなツールに大きく依存している。
我々は,完全オープンソースかつ(最大限に)フリーなマルチモジュールエージェントフレームワークであるCognitive Kernel-Proを提案する。
論文 参考訳（メタデータ） (2025-08-01T08:11:31Z) - Deep Research Agents: A Systematic Examination And Roadmap [109.53237992384872]
Deep Research (DR) エージェントは複雑な多ターン情報研究タスクに取り組むように設計されている。
本稿では,DRエージェントを構成する基礎技術とアーキテクチャコンポーネントの詳細な分析を行う。
論文 参考訳（メタデータ） (2025-06-22T16:52:48Z) - Large Language Model Agent: A Survey on Methodology, Applications and Challenges [88.3032929492409]
大きな言語モデル(LLM)エージェントは、目標駆動の振る舞いと動的適応能力を持ち、人工知能への重要な経路を示す可能性がある。
本調査は, LLMエージェントシステムを方法論中心の分類法により体系的に分解する。
私たちの作業は、エージェントの構築方法、コラボレーション方法、時間の経過とともにどのように進化するか、という、統一されたアーキテクチャの視点を提供します。
論文 参考訳（メタデータ） (2025-03-27T12:50:17Z) - A Survey of Model Architectures in Information Retrieval [59.61734783818073]
2019年から現在までの期間は、情報検索(IR)と自然言語処理(NLP)における最大のパラダイムシフトの1つとなっている。
従来の用語ベースの手法から現代のニューラルアプローチまで,特にトランスフォーマーベースのモデルとそれに続く大規模言語モデル(LLM)の影響が注目されている。
今後の課題と今後の方向性について、先見的な議論で締めくくります。
論文 参考訳（メタデータ） (2025-02-20T18:42:58Z) - A Taxonomy of Architecture Options for Foundation Model-based Agents: Analysis and Decision Model [25.78239568393706]
本稿では,基礎モデルに基づくエージェントのアーキテクチャに着目した分類法を提案する。
分類学は,これらの分類を統一し,詳細化することにより,基礎モデルに基づくエージェントの設計を改善することを目的としている。
論文 参考訳（メタデータ） (2024-08-06T03:10:52Z) - Towards Responsible Generative AI: A Reference Architecture for Designing Foundation Model based Agents [28.406492378232695]
ファンデーションモデルに基づくエージェントは、ファンデーションモデルの能力から自律性を引き出す。
本稿では,基礎モデルに基づくエージェントの設計におけるガイダンスとして機能するパターン指向参照アーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-11-22T04:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。