論文の概要: DelegateEval: Evaluating Platforms for Personal External Service Agents
- arxiv url: http://arxiv.org/abs/2611.07508v1
- Date: Thu, 05 Nov 2026 06:13:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.564318
- Title: DelegateEval: Evaluating Platforms for Personal External Service Agents
- Title（参考訳）: DelegateEval: 個人外部サービスエージェントのためのプラットフォームの評価
- Abstract要約: 我々は、クライアント要求を受け入れるために、特定の個人によって承認され、継続的に管理されるエージェントとして、個人外部サービスエージェントを定義します。
このようなエージェントは、直接的関与の少ない個人がより多くの顧客にサービスを提供し、大規模に経済的な価値を生み出すことを可能にする。
DelegateEvalは,大規模言語モデル,再利用可能なスキル,MPPなどのプロトコル,実行可能なツール環境を組み合わせた,エージェントシステムのためのプラットフォームレベルの評価フレームワークである。
- 参考スコア（独自算出の注目度）: 5.863054122288112
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents that work for an individual over time may also help that individual serve external clients. We define a personal external service agent as an agent authorized and continuously managed by a specific individual to accept client requests, deliver work, and provide ongoing support using that person's knowledge, experience, professional methods, and service boundaries. Such agents could allow individuals to serve more clients with less direct involvement and generate economic value at scale. We propose DelegateEval, a platform-level evaluation framework for agent systems that may combine large language models, reusable skills, protocols such as MCP, and executable tool environments. It covers eight dimensions: ease of creation, service discovery and matching, delivery quality, expertise inheritance, service continuity, learning and improvement, reliability and governance, and efficiency and value. These dimensions assess whether a platform enables people with different backgrounds to turn their expertise into ongoing services that deliver verifiable work, develop capabilities through experience, and remain economically feasible. We present the framework and an experimental design. Complete datasets, executable environments, a unified scoring protocol, and cross-model results remain to be developed and empirically validated.
- Abstract（参考訳）: 個人のために時間をかけて働くAIエージェントは、個人が外部クライアントを提供するのに役立つかもしれない。
我々は、個人の外部サービスエージェントを、特定の個人によって認証され、継続的に管理されているエージェントとして定義し、クライアントからの要求を受け入れ、仕事を届け、その人の知識、経験、専門的手法、サービス境界を利用して継続的なサポートを提供する。
このようなエージェントは、直接的関与の少ない個人がより多くの顧客にサービスを提供し、大規模に経済的な価値を生み出すことを可能にする。
DelegateEvalは,大規模言語モデル,再利用可能なスキル,MPPなどのプロトコル,実行可能なツール環境を組み合わせた,エージェントシステムのためのプラットフォームレベルの評価フレームワークである。
作成の容易さ、サービスディスカバリとマッチング、デリバリの品質、専門的継承、サービス継続性、学習と改善、信頼性とガバナンス、効率と価値の8つの側面をカバーする。
これらの次元は、プラットフォームが異なるバックグラウンドを持つ人々に対して、検証可能な作業を提供し、経験を通じて能力を開発し、経済的に実現可能な継続するサービスに自身の専門知識を転換することを可能にするかどうかを評価する。
本稿では,その枠組みと実験設計について述べる。
完全なデータセット、実行可能な環境、統一されたスコアリングプロトコル、およびクロスモデルの結果は、いまだに開発され、実証的に検証されている。
関連論文リスト
- PersonaCodeBench: Evaluating Coding Agents in Persona-driven Human-Interactive Sessions [59.78223575963627]
PersonaCodeBenchは、マルチターンコーディングセッションでユーザ特性を検証可能な義務に変換する。
実行時に、コントローラはユーザーシミュレータの応答と要求の開示を制御します。
完了検証器とパーソナライズ検証器は、ネイティブの正しさとペルソナの履行を別々に評価する。
論文 参考訳（メタデータ） (2026-11-03T23:27:20Z) - Federated Agent Optimization [26.845979277224682]
大規模言語モデル(LLM)エージェントは、ますますプライベート環境で運用されるようになっている。
しかし、そのようなエクスペリエンスは組織に分散しており、プライバシとプロプライエタリな制約のために直接共有することはできない。
エージェント機能は、モデルパラメータからメモリ、ツール、報酬、スキル、構造化知識まで拡張されるため、この設定では従来の連合学習は不十分である。
論文 参考訳（メタデータ） (2026-10-01T07:06:00Z) - A Framework for Evaluating Agentic Skills at Scale [0.4509560087514856]
エージェントスキルは構造化され、エージェント能力を増強する再利用可能な知識アーティファクトである。
個々のスキルを評価するための再利用可能な方法論は存在しない。
本稿では,スキルライターが現実的なタスクを構築できる評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-16T11:46:56Z) - $τ$-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge [58.03692489021332]
$-Knowledgeは、外部の自然言語知識とツール出力の協調に依存する環境でエージェントを評価するための$-Benchの拡張である。
我々は、$$-Knowledgeが、非構造的知識を人間対応デプロイメントに組み込むエージェントを開発するための、現実的なテストベッドを提供することを示した。
論文 参考訳（メタデータ） (2026-03-04T18:34:47Z) - SPARK: Search Personalization via Agent-Driven Retrieval and Knowledge-sharing [0.9694940903078657]
SPARK(Search Personalization via Agent-Driven Retrieval and Knowledge-sharing)は、コーディネートされたペルソナベースの大規模言語モデル(LLM)エージェントがタスク固有の検索と創発的なパーソナライゼーションを提供するフレームワークである。
SPARKは役割、専門知識、タスクコンテキスト、ドメインによって定義されたペルソナ空間を形式化し、最も関連性の高い特殊エージェントを活性化するために、受信クエリを動的に解釈するペルソナコーディネータを導入する。
エージェント間のコラボレーションは、共有メモリリポジトリ、反復的議論、リレースタイルの知識伝達など、構造化された通信プロトコルによって促進される。
論文 参考訳（メタデータ） (2025-12-30T06:09:12Z) - UpBench: A Dynamically Evolving Real-World Labor-Market Agentic Benchmark Framework Built for Human-Centric AI [2.0619484032730813]
UpBenchは、グローバルなUpworkの労働市場から引き出された実際の仕事に関するベンチマークだ。
各タスクは検証されたクライアントトランザクションに対応し、実際の作業活動と財務成果の評価をアンロックする。
UpBenchはルーリックベースの評価フレームワークを採用しており、専門家フリーランサーは各ジョブを詳細かつ検証可能な受け入れ基準に分解し、基準ごとのフィードバックでAI申請を評価する。
論文 参考訳（メタデータ） (2025-11-15T17:39:37Z) - Open Agent Specification (Agent Spec): A Unified Representation for AI Agents [10.685555728094338]
我々はAIエージェントとエージェントを定義する宣言型言語Open Agent Specification(Agent Spec)を紹介する。
Agent Specは、コンポーネント、コントロールとデータフローのセマンティクス、スキーマの共通セットを定義し、エージェントを一度定義し、異なるランタイム間で実行できるようにする。
論文 参考訳（メタデータ） (2025-10-05T12:26:42Z) - Agentic Knowledgeable Self-awareness [79.25908923383776]
KnowSelfはデータ中心のアプローチで、人間のような知識のある自己認識を持つエージェントを応用する。
我々の実験により、KnowSelfは、外部知識を最小限に使用して、様々なタスクやモデルにおいて、様々な強力なベースラインを達成できることが実証された。
論文 参考訳（メタデータ） (2025-04-04T16:03:38Z) - CRMArena: Understanding the Capacity of LLM Agents to Perform Professional CRM Tasks in Realistic Environments [90.29937153770835]
CRMArenaは、プロフェッショナルな作業環境に根ざした現実的なタスクにおいて、AIエージェントを評価するために設計されたベンチマークである。
現状のLDMエージェントはReActプロンプトのタスクの40%以下で成功し,機能呼び出し能力でも55%以下であった。
この結果から,実環境に展開する関数呼び出しやルールフォローにおいて,エージェント機能の向上の必要性が示唆された。
論文 参考訳（メタデータ） (2024-11-04T17:30:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。