論文の概要: Agent-as-a-Judge: Evaluate Agents with Agents

• arxiv url: http://arxiv.org/abs/2410.10934v2
• Date: Wed, 16 Oct 2024 17:54:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:19:56.396664
• Title: Agent-as-a-Judge: Evaluate Agents with Agents
• Title（参考訳）: エージェント・アズ・ア・ジャッジ:エージェントによるエージェントの評価
• Authors: Mingchen Zhuge, Changsheng Zhao, Dylan Ashley, Wenyi Wang, Dmitrii Khizbullin, Yunyang Xiong, Zechun Liu, Ernie Chang, Raghuraman Krishnamoorthi, Yuandong Tian, Yangyang Shi, Vikas Chandra, Jürgen Schmidhuber,
• Abstract要約: 本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。 これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。 55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
• 参考スコア（独自算出の注目度）: 61.33974108405561
• License:
• Abstract: Contemporary evaluation techniques are inadequate for agentic systems. These approaches either focus exclusively on final outcomes -- ignoring the step-by-step nature of agentic systems, or require excessive manual labour. To address this, we introduce the Agent-as-a-Judge framework, wherein agentic systems are used to evaluate agentic systems. This is an organic extension of the LLM-as-a-Judge framework, incorporating agentic features that enable intermediate feedback for the entire task-solving process. We apply the Agent-as-a-Judge to the task of code generation. To overcome issues with existing benchmarks and provide a proof-of-concept testbed for Agent-as-a-Judge, we present DevAI, a new benchmark of 55 realistic automated AI development tasks. It includes rich manual annotations, like a total of 365 hierarchical user requirements. We benchmark three of the popular agentic systems using Agent-as-a-Judge and find it dramatically outperforms LLM-as-a-Judge and is as reliable as our human evaluation baseline. Altogether, we believe that Agent-as-a-Judge marks a concrete step forward for modern agentic systems -- by providing rich and reliable reward signals necessary for dynamic and scalable self-improvement.
• Abstract（参考訳）: 現代評価技術はエージェントシステムには不十分である。 これらのアプローチは、エージェントシステムのステップバイステップの性質を無視したり、過度の手作業を必要とする、最終的な結果にのみフォーカスする。 そこで,エージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを導入し,エージェント・システムを用いてエージェント・システムの評価を行う。 これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。 コード生成のタスクにエージェント・アズ・ア・ジャッジを適用します。 既存のベンチマークの問題を克服し、Agent-as-a-Judge用の概念実証テストベッドを提供するために、55の自動化AI開発タスクの新たなベンチマークであるDevAIを提案する。 これには、合計365の階層的ユーザ要件など、リッチなマニュアルアノテーションが含まれている。 我々は,エージェント・アズ・ア・ジャッジを用いたエージェントシステムの3つのベンチマークを行い,LLM・ア・ジャッジを劇的に上回り,人間の評価基準と同じくらい信頼性が高いことを示した。 エージェント・アズ・ア・ジャッジ(Agen-as-a-Judge)は、動的でスケーラブルな自己改善に必要な、リッチで信頼性の高い報酬信号を提供することによって、現代のエージェントシステムにとって、具体的な一歩であると考えています。

関連論文リスト

• AutoAgent: A Fully-Automated and Zero-Code Framework for LLM Agents [4.57755315319748]
  大規模言語モデル (LLM) エージェントはタスクの自動化とインテリジェントな意思決定において顕著な能力を示した。 これらのフレームワークは、主に開発者に対して広範な技術的専門知識を提供する。 世界の人口の0.03%のみが必要なプログラミングスキルを持っている。
  論文  参考訳（メタデータ） (2025-02-09T16:53:56Z)
• The AI Agent Index [8.48525754659057]
  エージェントAIシステムは、人間の関与が限定された複雑なタスクを計画し実行することができる。 現在、エージェントシステムの技術コンポーネント、目的の用途、安全性の特徴を文書化するための構造化されたフレームワークは存在しない。 AI Agent Indexは、現在デプロイされているエージェントAIシステムに関する情報をドキュメント化する最初の公開データベースである。
  論文  参考訳（メタデータ） (2025-02-03T18:59:13Z)
• Free Agent in Agent-Based Mixture-of-Experts Generative AI Framework [0.0]
  強化学習自由エージェント (Reinforcement Learning Free Agent, RLFA) アルゴリズムは、永続的な過パフォーマンスを示すエージェントを検出し、除去するための報酬に基づくメカニズムを導入する。 第一のユースケースは不正検出であり、RLFAは事前に設定された閾値以下で検出精度が低下するエージェントを即座に交換する。 このダイナミックでフリーの緊急サイクルは、持続的な正確さ、出現する脅威への迅速な適応、進行中の運用に対する最小限の中断を保証する。
  論文  参考訳（メタデータ） (2025-01-29T13:00:22Z)
• Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement [117.94654815220404]
  G"odel AgentはG"odelマシンにインスパイアされた自己進化型フレームワークである。 G"odel Agentは、パフォーマンス、効率、一般化性において手作業によるエージェントを上回る、継続的な自己改善を実現することができる。
  論文  参考訳（メタデータ） (2024-10-06T10:49:40Z)
• Agent-E: From Autonomous Web Navigation to Foundational Design Principles in Agentic Systems [1.079505444748609]
  本稿では,新しいWebエージェントであるAgent-Eの構築について紹介する。 Agent-Eは、最先端のWebエージェントよりも多くのアーキテクチャ改善を導入している。 我々は,Agent-Eが他のSOTAテキストおよびマルチモーダルWebエージェントを,ほとんどのカテゴリで10～30%上回っていることを示す。
  論文  参考訳（メタデータ） (2024-07-17T21:44:28Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• AgentGym: Evolving Large Language Model-based Agents across Diverse Environments [116.97648507802926]
  大規模言語モデル(LLM)はそのようなエージェントを構築するための有望な基盤と考えられている。 我々は、自己進化能力を備えた一般機能 LLM ベースのエージェントを構築するための第一歩を踏み出す。 我々はAgentGymを提案する。AgentGymは、幅広い、リアルタイム、ユニフォーマット、並行エージェント探索のための様々な環境とタスクを特徴とする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-06-06T15:15:41Z)
• Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents [110.25679611755962]
  現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。 Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。 私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
  論文  参考訳（メタデータ） (2024-02-14T14:36:30Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。