論文の概要: Auto-SLURP: A Benchmark Dataset for Evaluating Multi-Agent Frameworks in Smart Personal Assistant
- arxiv url: http://arxiv.org/abs/2504.18373v1
- Date: Fri, 25 Apr 2025 14:17:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.791782
- Title: Auto-SLURP: A Benchmark Dataset for Evaluating Multi-Agent Frameworks in Smart Personal Assistant
- Title（参考訳）: Auto-SLURP:スマートパーソナルアシスタントにおけるマルチエージェントフレームワーク評価のためのベンチマークデータセット
- Authors: Lei Shen, Xiaoyu Shen,
- Abstract要約: Auto-SLURPは、インテリジェントパーソナルアシスタントのコンテキストにおけるLLMベースのマルチエージェントフレームワークの評価を目的としたベンチマークデータセットである。
Auto-SLURPは、データを緩和し、シミュレートされたサーバと外部サービスを統合することで、元のSLURPデータセットを拡張している。
我々の実験は、Auto-SLURPが現在の最先端フレームワークに重大な課題をもたらすことを示した。
- 参考スコア（独自算出の注目度）: 16.006675944380078
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, multi-agent frameworks powered by large language models (LLMs) have advanced rapidly. Despite this progress, there is still a notable absence of benchmark datasets specifically tailored to evaluate their performance. To bridge this gap, we introduce Auto-SLURP, a benchmark dataset aimed at evaluating LLM-based multi-agent frameworks in the context of intelligent personal assistants. Auto-SLURP extends the original SLURP dataset -- initially developed for natural language understanding tasks -- by relabeling the data and integrating simulated servers and external services. This enhancement enables a comprehensive end-to-end evaluation pipeline, covering language understanding, task execution, and response generation. Our experiments demonstrate that Auto-SLURP presents a significant challenge for current state-of-the-art frameworks, highlighting that truly reliable and intelligent multi-agent personal assistants remain a work in progress. The dataset and related code are available at https://github.com/lorashen/Auto-SLURP/.
- Abstract（参考訳）: 近年,大規模言語モデル(LLM)を利用したマルチエージェントフレームワークが急速に進歩している。
この進歩にもかかわらず、パフォーマンスを評価するために特別に調整されたベンチマークデータセットがまだ存在しない。
このギャップを埋めるため、知的パーソナルアシスタントの文脈におけるLLMベースのマルチエージェントフレームワークの評価を目的としたベンチマークデータセットであるAuto-SLURPを導入する。
Auto-SLURPは、当初自然言語理解タスク用に開発されたSLURPデータセットを拡張し、データを緩和し、シミュレートされたサーバと外部サービスを統合する。
この拡張により、包括的なエンドツーエンド評価パイプライン、言語理解、タスク実行、レスポンス生成が可能になる。
我々の実験は、Auto-SLURPが現在の最先端フレームワークに重大な課題を示しており、真に信頼性がありインテリジェントなマルチエージェントパーソナルアシスタントが現在進行中であることを示している。
データセットと関連するコードはhttps://github.com/lorashen/Auto-SLURP/で公開されている。
関連論文リスト
- LEMUR Neural Network Dataset: Towards Seamless AutoML [34.04248949660201]
LEMURは、ニューラルネットワークモデルのオープンソースデータセットであり、多様なアーキテクチャのためのよく構造化されたコードである。
LEMURは主に、機械学習タスクを自動化するために、大規模な言語モデルの微調整を可能にするように設計されている。
LEMURはMITライセンス下でオープンソースプロジェクトとしてリリースされ、論文が受理される。
論文 参考訳（メタデータ） (2025-04-14T09:08:00Z) - Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。
このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。
生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
論文 参考訳（メタデータ） (2024-11-21T02:30:53Z) - ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities [30.030101957186595]
ToolSandboxは、大規模言語モデル(LLM)の評価フレームワークである。
ToolSandboxには、ステートフルなツール実行、ツール間の暗黙のステート依存性、オン・ポリケーションの会話評価をサポートする組み込みユーザシミュレータが含まれている。
オープンソースとプロプライエタリなモデルには大きなパフォーマンスギャップがあることを示し、ToolSandboxで定義された状態依存、正準化、不十分な情報といった複雑なタスクは、最も有能なSOTA LLMでさえも挑戦している。
論文 参考訳（メタデータ） (2024-08-08T05:45:42Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。
私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。
実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
論文 参考訳（メタデータ） (2024-07-01T17:55:04Z) - DCA-Bench: A Benchmark for Dataset Curation Agents [9.60250892491588]
隠れたデータセットの品質問題を検知する大規模言語モデルの能力を測定するために,データセットキュレーションエージェントベンチマークであるDCA-Benchを提案する。
具体的には、テストベッドとして8つのオープンデータセットプラットフォームから、さまざまな実世界のデータセット品質の問題を収集します。
提案したベンチマークは、単に問題解決を行うのではなく、問題発見におけるLLMの能力を測定するためのテストベッドとしても機能する。
論文 参考訳（メタデータ） (2024-06-11T14:02:23Z) - Characteristic AI Agents via Large Language Models [40.10858767752735]
本研究は,特有なAIエージェント構築における大規模言語モデルの性能調査に焦点をあてる。
character100''と呼ばれるデータセットがこのベンチマークのために構築されており、ウィキペディアの言語モデルでロールプレイを行う最も訪問者の多い人々で構成されている。
実験結果から,LLMの能力向上に向けた潜在的な方向性が明らかにされた。
論文 参考訳（メタデータ） (2024-03-19T02:25:29Z) - MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。
MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
論文 参考訳（メタデータ） (2024-02-18T04:28:28Z) - AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
AutoActはQAのための自動エージェント学習フレームワークである。
大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
論文 参考訳（メタデータ） (2024-01-10T16:57:24Z) - AgentBench: Evaluating LLMs as Agents [88.45506148281379]
大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。
我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
論文 参考訳（メタデータ） (2023-08-07T16:08:11Z) - LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset,
Framework, and Benchmark [81.42376626294812]
本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。
我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。
本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
論文 参考訳（メタデータ） (2023-06-11T14:01:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。