論文の概要: Agent Seer: Synthesizing Scenarios from Specification Understanding
- arxiv url: http://arxiv.org/abs/2608.26133v1
- Date: Wed, 24 Jun 2026 23:06:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.356307
- Title: Agent Seer: Synthesizing Scenarios from Specification Understanding
- Title（参考訳）: Agent Seer: シナリオを仕様理解から合成する
- Abstract要約: Agent Seer は単一の Model Context Protocol (MCP) 仕様から遅延情報を構築する。
合成ツール出力でグレード化されたシナリオを生成し、モックデータでグラウンド化されたマルチターンダイアログに拡張する。
すべてのドメインで強力な品質を実現し、中小仕様の完全なツールカバレッジを実現しています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating AI agents that use external tools requires realistic test scenarios that capture how practitioners compose tools and iterate across conversation turns. Constructing such scenarios by hand demands deep domain expertise, does not scale across tool ecosystems, and produces static benchmarks that cannot track evolving APIs. We observe that tool specifications -- function names, natural-language descriptions, and typed parameter schemas -- already encode sufficient semantic information to synthesize realistic evaluation scenarios without manual curation or live tool execution. Agent Seer builds off this latent information: from a single Model Context Protocol (MCP) specification, with no examples, no live tool access, and no domain-specific tuning. This pipeline enriches raw schemas, generates graded scenarios with synthetic tool outputs, and expands them into mock-data-grounded multi-turn dialogues that exhibit strong tool-calling correctness and conversational coherence. Evaluation quality is measured by applying this pipeline on seven MCP specifications spanning diverse domains and tool-suite sizes and measuring the tool-calling correctness and conversational coherence. The pipeline achieves strong quality across all domains, with complete tool coverage on small and medium specifications. Two findings emerge within this analysis: parameter schema complexity is the strongest correlate of quality variation -- tool-suite size plays a smaller, orthogonal role -- and argument value accuracy is the dominant failure mode among imperfect scenarios, a sub-dimension invisible to coarse-grained name-match metrics.
- Abstract（参考訳）: 外部ツールを使用するAIエージェントを評価するには、実践者がツールをどのように構成し、会話のターンを繰り返すかをキャプチャする、現実的なテストシナリオが必要です。
このようなシナリオを手作業で構築するには、深いドメインの専門知識が必要であり、ツールエコシステムをまたいでスケールせず、進化するAPIを追跡できない静的ベンチマークを生成する。
ツール仕様 -- 関数名、自然言語記述、型付きパラメータスキーマ -- は、手動のキュレーションやライブツールの実行なしに現実的な評価シナリオを合成するのに十分な意味情報をエンコードしている。
1つのモデルコンテキストプロトコル(MCP)仕様から、サンプルなし、ライブツールアクセスなし、ドメイン固有のチューニングなし。
このパイプラインは、生のスキーマを強化し、合成ツール出力でグレードされたシナリオを生成し、それらをモックデータでグラウンド化されたマルチターンダイアログに拡張し、強力なツール呼び出しの正しさと会話のコヒーレンスを示す。
このパイプラインを様々なドメインとツールサイズにまたがる7つのMPP仕様に適用し、ツールコールの正確さと会話コヒーレンスを測定することにより、評価品質を測定する。
パイプラインはすべてのドメインで強力な品質を実現し、中小仕様の完全なツールカバレッジを実現している。
パラメータスキーマの複雑性は、品質変化の最も強い相関関係 -- ツール適合のサイズは、より小さく、直交的な役割を果たす -- である。
関連論文リスト
- ParaTool: Shifting Tool Representations from Context to Parameters [21.55999060277199]
ParaToolは、各ツールを専用のロード可能なパラメータセットにプロジェクションするフレームワークである。
本手法は,(1)異なるツールの知識を独立したパラメータモジュールにカプセル化するためのパラメトリックツール事前学習,(2)ソフトツールの選択では,関連するツールパラメータを動的に計測・集約するゲーティングネットワーク,(3)ツールパラメータを微調整し,トレーニングと推論プロセスの調整を行う。
論文 参考訳（メタデータ） (2026-05-28T08:14:07Z) - Bidirectional Semantic Complementary Tool Retrieval for Remote Sensing Agents [14.603837941754483]
大規模言語モデル(LLM)に基づくエージェントは、リモートセンシング(RS)データの自動処理のための新しいパラダイムを提供する。
意味的非対称性」に直面する既存のツール検索手法
本稿では,双方向のセマンティック補完ツール検索手法を提案する。
論文 参考訳（メタデータ） (2026-04-29T14:07:19Z) - AgentSkiller: Scaling Generalist Agent Intelligence through Semantically Integrated Cross-Domain Data Synthesis [30.512393568258105]
大規模言語モデルエージェントは、ツールを介して現実世界の問題を解決する可能性を実証するが、汎用的な知性は、質の低い長期データによってボトルネックとなる。
本稿では,現実的なセマンティックなドメイン間でのマルチターンインタラクションデータを合成する,完全に自動化されたフレームワークであるAgentSkillerを提案する。
論文 参考訳（メタデータ） (2026-02-10T03:21:42Z) - Simulating Complex Multi-Turn Tool Calling Interactions in Stateless Execution Environments [14.539418822648658]
DiGiT-TCは、ステートフルな環境で検索によって生成された会話の特徴を持つ会話を呼び出すツールを作成するように設計されている。
標準ツール呼び出しベンチマークに対する我々のアプローチを検証するとともに、ステートフルな問題設定においても、我々のアプローチはパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2026-01-06T20:04:30Z) - FABRIC: Framework for Agent-Based Realistic Intelligence Creation [3.940391073007047]
大規模言語モデル(LLM)はエージェントとしてますます多くデプロイされ、目標を分解し、ツールを実行し、動的環境で結果を検証することが期待されている。
本稿では,LLMのみを用いたエージェントデータの統一化フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-20T18:20:22Z) - MCPVerse: An Expansive, Real-World Benchmark for Agentic Tool Use [72.53177559476704]
我々はエージェントツールの使用を評価するための実世界のベンチマークであるMCPVerseを紹介する。
MCPVerseは550以上の実世界の実行可能なツールを統合し、140kトークンを超える前例のないアクション空間を作成する。
私たちは最先端のLSMを3つのモード(Oracle、Standard、Max-Scale)でベンチマークしました。
論文 参考訳（メタデータ） (2025-08-22T09:47:53Z) - Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。
これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。
また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
論文 参考訳（メタデータ） (2025-08-12T09:45:19Z) - What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities [56.646832992178105]
我々は、制御可能な複雑性のタスクを合成するための自動パイプラインを備えたクロスプラットフォームグラフベースのベンチマークであるOmniBenchを紹介した。
OmniEvalは、サブタスクレベルの評価、グラフベースのメトリクス、および10機能にわたる包括的なテストを含む多次元評価フレームワークである。
我々のデータセットには、20のシナリオにわたる36万のグラフ構造化タスクが含まれており、人間の受け入れ率は91%に達する。
論文 参考訳（メタデータ） (2025-06-10T15:59:38Z) - ToolFlow: Boosting LLM Tool-Calling Through Natural and Coherent Dialogue Synthesis [80.34000499166648]
より関連性の高いツールの組み合わせをサンプリングするためのグラフベースのサンプリング戦略と、コヒーレントな対話の合成を導く計画を作成するための計画生成戦略を提案する。
ツールフローで生成した8000の合成対話を用いてLLaMA-3.1-8BにSFTを適用した。
その結果,GPT-4に匹敵するツールコール性能が得られた。
論文 参考訳（メタデータ） (2024-10-24T05:45:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。