論文の概要: Defining AI Agents: A Compendium of Criteria, Metrics, and Benchmarks
- arxiv url: http://arxiv.org/abs/2609.11018v1
- Date: Thu, 10 Sep 2026 02:50:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.200216
- Title: Defining AI Agents: A Compendium of Criteria, Metrics, and Benchmarks
- Title（参考訳）: AIエージェントの定義 - 基準、メトリクス、ベンチマークのコンペディション
- Abstract要約: 人工知能におけるエージェントという用語は、AIエージェントの評価、比較、研究を複雑にする標準的な定義を欠いている。
このレビューはエージェント評価の現在の状況について構造化された説明を提供し、確立されたアプローチと、評価が限定的あるいは一貫性のない領域の両方を強調している。
また,このレビューから得られた評価手法を整理し,拡張する公開デジタルリソースであるAgent Compendiumについても紹介する。
- 参考スコア（独自算出の注目度）: 0.19336815376402716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The term agent in artificial intelligence lacks a standard definition, complicating the evaluation, comparison, and reproducibility of AI agent research. We address this ambiguity through a survey organized around five dimensions of agenticness: environmental interaction, learning and adaptation, autonomy, goal-directed behavior, and temporal coherence. For each dimension, we examine how the underlying capability has been conceptualized across prior work and synthesize the metrics, benchmarks, and evaluation frameworks used to assess it. This review provides a structured account of the current landscape of agent evaluation, highlighting both established approaches and areas where evaluation remains limited or inconsistent. We additionally introduce the Agent Compendium, a public-facing digital resource that organizes and extends the evaluation methods identified through this review. Together, the survey and compendium provide a common structure for evaluating and comparing agent capabilities across AI systems, supporting more reproducible research, clearer communication, and more systematic study of artificial agents.
- Abstract（参考訳）: 人工知能におけるエージェントという用語は標準的な定義に欠けており、AIエージェントの研究の評価、比較、再現性を複雑にしている。
我々は,環境相互作用,学習と適応,自律性,目標指向行動,時間的コヒーレンスという5次元のエージェント性に関する調査を通じて,この曖昧さに対処する。
各次元について、基礎となる能力が以前の作業間でどのように概念化され、評価に使用されるメトリクス、ベンチマーク、評価フレームワークが合成されたかを検討する。
このレビューはエージェント評価の現在の状況について構造化された説明を提供し、確立されたアプローチと、評価が限定的あるいは一貫性のない領域の両方を強調している。
また,このレビューから得られた評価手法を整理し,拡張する公開デジタルリソースであるAgent Compendiumについても紹介する。
調査とコンペンジウムは、AIシステム全体でエージェント能力を評価し比較するための共通の構造を提供し、より再現可能な研究、より明確なコミュニケーション、そしてより体系的な人工知能の研究をサポートする。
関連論文リスト
- Autonomous Information Seeking: A Roadmap for Agentic Recommender Systems [64.88044474617854]
大規模言語モデルベースのエージェントをリコメンダシステムに迅速に統合することで、静的なランキングベースのパイプラインから、自律的でインタラクティブなシステムへのシフトが加速した。
この調査では、自律性のレベルとエージェントレコメンデータシステムの3つのコアパラダイムを基盤とした統合された分類法を紹介した。
論文 参考訳（メタデータ） (2026-07-05T17:55:05Z) - Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。
ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。
タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
論文 参考訳（メタデータ） (2026-06-10T22:55:30Z) - Interactive Evaluation Requires a Design Science [90.62695599188204]
大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。
フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。
本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
論文 参考訳（メタデータ） (2026-05-18T04:03:18Z) - DREAM: Deep Research Evaluation with Agentic Metrics [21.555357444628044]
本稿では,DREAM(Deep Research Evaluation with Agentic Metrics)を提案する。
DREAM構造評価は、クエリ非依存のメトリクスとツール呼び出しエージェントが生成する適応的なメトリクスを組み合わせた評価プロトコルを用いて行われる。
制御された評価は、DREAMが既存のベンチマークよりも事実や時間的劣化にかなり敏感であることを示している。
論文 参考訳（メタデータ） (2026-02-21T19:14:31Z) - The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research [56.80927148740585]
我々は、動的に進化し、研究評価者としてAIエージェントを開発することで、スケーラビリティと厳密さの課題に対処する。
我々は,機械的解釈可能性の研究をテストベッドとして使用し,標準化された研究成果を構築し,MechEvalAgentを開発した。
我々の研究は、AIエージェントが研究評価を変革し、厳格な科学的実践の道を開く可能性を実証している。
論文 参考訳（メタデータ） (2026-02-05T19:00:02Z) - Agentic Reasoning for Large Language Models [122.81018455095999]
推論は推論、問題解決、意思決定の基礎となる基本的な認知プロセスである。
大規模言語モデル(LLM)は、クローズドワールド設定では強力な推論能力を示すが、オープンエンドおよび動的環境では苦労する。
エージェント推論は、連続的な相互作用を計画し、行動し、学習する自律的なエージェントとしてLLMを解釈することでパラダイムシフトを示す。
論文 参考訳（メタデータ） (2026-01-18T18:58:23Z) - When AIs Judge AIs: The Rise of Agent-as-a-Judge Evaluation for LLMs [8.575522204707958]
大規模言語モデル(LLM)は能力と自律性が向上し、特にオープンで複雑なタスクにおいて、アウトプットの評価が重要なボトルネックとなっている。
新たなパラダイムが生まれつつある。AIエージェントを評価対象として使用することだ。
本稿では,エージェント・アズ・ア・ジャッジの概念を定義し,単一モデル審査員から動的マルチエージェント・ディスカッション・フレームワークへの進化を辿り,その強みと欠点を批判的に検証する。
論文 参考訳（メタデータ） (2025-08-05T01:42:25Z) - Evaluation and Benchmarking of LLM Agents: A Survey [2.75311233296471]
本調査では,既存の作業を評価目的に沿って整理する2次元分類法を紹介する。
データへのロールベースのアクセスなど、企業固有の課題を強調します。
また、総合的で、より現実的で、スケーラブルな評価を含む、将来の研究の方向性を特定します。
論文 参考訳（メタデータ） (2025-07-29T04:57:02Z) - Multi-level Value Alignment in Agentic AI Systems: Survey and Perspectives [29.49571891159761]
エージェントAIシステムの価値アライメントは、エージェントの目標、嗜好、行動が人間の価値観や社会的規範と一致することを保証することを目的としている。
本研究では,エージェントAIシステムの代表的アーキタイプとして,LLMに基づくマルチエージェントシステムにおける価値アライメントを包括的にレビューする。
論文 参考訳（メタデータ） (2025-06-11T12:25:38Z) - Safety by Measurement: A Systematic Literature Review of AI Safety Evaluation Methods [0.0]
この文献レビューは、急速に進化するAI安全性評価の分野を集約する。
それは、どの特性を計測するか、どのように測定するか、そしてこれらの測定がフレームワークにどのように統合されるかという、3つの次元に関する体系的な分類法を提案する。
論文 参考訳（メタデータ） (2025-05-08T16:55:07Z) - Survey on Evaluation of LLM-based Agents [28.91672694491855]
LLMベースのエージェントの出現は、AIのパラダイムシフトを表している。
本稿では,これらのエージェントに対する評価手法に関する総合的な調査を初めて実施する。
論文 参考訳（メタデータ） (2025-03-20T17:59:23Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。