論文の概要: VeriLA: A Human-Centered Evaluation Framework for Interpretable Verification of LLM Agent Failures

• arxiv url: http://arxiv.org/abs/2503.12651v1
• Date: Sun, 16 Mar 2025 21:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:34:49.694930
• Title: VeriLA: A Human-Centered Evaluation Framework for Interpretable Verification of LLM Agent Failures
• Title（参考訳）: VeriLA: LLMエージェント障害の解釈検証のための人間中心評価フレームワーク
• Authors: Yoo Yeon Sung, Hannah Kim, Dan Zhang,
• Abstract要約: 複合AIシステムにおける大規模言語モデル(LLM)エージェントは、しばしば人間の基準を満たさないため、システム全体のパフォーマンスを損なうエラーにつながる。 本稿では LLM Agent failures (VeriLA) を検証するための人間中心評価フレームワークを提案する。 VeriLAは、人的労力を減らすためにエージェント障害を体系的に評価し、これらのエージェント障害を人間に解釈できるようにする。
• 参考スコア（独自算出の注目度）: 3.075266204492352
• License:
• Abstract: AI practitioners increasingly use large language model (LLM) agents in compound AI systems to solve complex reasoning tasks, these agent executions often fail to meet human standards, leading to errors that compromise the system's overall performance. Addressing these failures through human intervention is challenging due to the agents' opaque reasoning processes, misalignment with human expectations, the complexity of agent dependencies, and the high cost of manual inspection. This paper thus introduces a human-centered evaluation framework for Verifying LLM Agent failures (VeriLA), which systematically assesses agent failures to reduce human effort and make these agent failures interpretable to humans. The framework first defines clear expectations of each agent by curating human-designed agent criteria. Then, it develops a human-aligned agent verifier module, trained with human gold standards, to assess each agent's execution output. This approach enables granular evaluation of each agent's performance by revealing failures from a human standard, offering clear guidelines for revision, and reducing human cognitive load. Our case study results show that VeriLA is both interpretable and efficient in helping practitioners interact more effectively with the system. By upholding accountability in human-agent collaboration, VeriLA paves the way for more trustworthy and human-aligned compound AI systems.
• Abstract（参考訳）: AI実践者は、複雑な推論タスクを解決するために複合AIシステムにおいて、大規模言語モデル(LLM)エージェントをますます使用しています。 エージェントの不透明な推論プロセス、人間の期待との相違、エージェント依存の複雑さ、手動検査のコストが高いため、人間の介入によるこれらの障害に対処することは困難である。 本稿では,人為的努力を減らすためにエージェント障害を体系的に評価し,それらのエージェント障害を人間に解釈できるようにする,LDMエージェント障害の検証のための人間中心評価フレームワークについて紹介する。 このフレームワークは、まず、人間によって設計されたエージェント基準をキュレートすることで、各エージェントの明確な期待を定義する。 そして、人間の金基準で訓練された人間対応エージェント検証モジュールを開発し、各エージェントの実行出力を評価する。 このアプローチは、人間の基準から失敗を明らかにし、修正のための明確なガイドラインを提供し、人間の認知負荷を減らすことによって、各エージェントのパフォーマンスをきめ細やかな評価を可能にする。 ケーススタディの結果から,VeriLAは実践者がシステムとより効果的に対話する上で,解釈可能かつ効率的であることが示唆された。 ヒューマンエージェントのコラボレーションにおける説明責任の維持により、VeriLAは、より信頼性が高く、人間に整合した複合AIシステムへの道を開いた。

関連論文リスト

• Who is Helping Whom? Analyzing Inter-dependencies to Evaluate Cooperation in Human-AI Teaming [14.489157453882767]
  本稿では, エージェントが相互の行動にどの程度依存しているかを測定するために, 相互依存の概念を提案する。 私たちは、MARL for HATでトレーニングされた最先端のエージェントと、人気のあるオーバークッキングドメインの学習された人間モデルとをペアにし、これらのヒューマンエージェントチームのチームパフォーマンスを評価します。
  論文  参考訳（メタデータ） (2025-02-10T19:16:20Z)
• Causal Responsibility Attribution for Human-AI Collaboration [62.474732677086855]
  本稿では,人間のAIシステムにおける責任を体系的に評価するために,構造因果モデル(SCM)を用いた因果的枠組みを提案する。 2つのケーススタディは、多様な人間とAIのコラボレーションシナリオにおけるフレームワークの適応性を示している。
  論文  参考訳（メタデータ） (2024-11-05T17:17:45Z)
• Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
  本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。 これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。 55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
  論文  参考訳（メタデータ） (2024-10-14T17:57:02Z)
• Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement [117.94654815220404]
  G"odel AgentはG"odelマシンにインスパイアされた自己進化型フレームワークである。 G"odel Agentは、パフォーマンス、効率、一般化性において手作業によるエージェントを上回る、継続的な自己改善を実現することができる。
  論文  参考訳（メタデータ） (2024-10-06T10:49:40Z)
• Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
  複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。 このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
  論文  参考訳（メタデータ） (2024-02-20T11:03:36Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)
• Compensating for Sensing Failures via Delegation in Human-AI Hybrid Systems [0.0]
  我々は、管理エージェントがいつ委任代行を行うかを特定することを任務とするハイブリッドな人間-AIチームについて考察する。 我々は、環境コンテキストが知覚障害にどのように貢献するか、または悪化するかをモデル化する。 本稿では,強化学習(RL)マネージャがコンテキストデリゲーションアソシエーションをいかに修正できるかを示す。
  論文  参考訳（メタデータ） (2023-03-02T14:27:01Z)
• A Cognitive Framework for Delegation Between Error-Prone AI and Human Agents [0.0]
  本研究では,認知にインスパイアされた行動モデルを用いて,人間エージェントとAIエージェントの両方の行動を予測する。 予測された振る舞いは、仲介者の使用を通じて人間とAIエージェントの制御を委譲するために使用される。
  論文  参考訳（メタデータ） (2022-04-06T15:15:21Z)
• Watch-And-Help: A Challenge for Social Perception and Human-AI Collaboration [116.28433607265573]
  我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。 WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。 マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
  論文  参考訳（メタデータ） (2020-10-19T21:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。