論文の概要: Multi-Mission Tool Bench: Assessing the Robustness of LLM based Agents through Related and Dynamic Missions

• arxiv url: http://arxiv.org/abs/2504.02623v2
• Date: Fri, 11 Apr 2025 08:14:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:16:27.602890
• Title: Multi-Mission Tool Bench: Assessing the Robustness of LLM based Agents through Related and Dynamic Missions
• Title（参考訳）: マルチミスツールベンチ:関連・動的ミッションによるLCM系エージェントのロバスト性評価
• Authors: Peijie Yu, Yifan Yang, Jinjian Li, Zelong Zhang, Haorui Wang, Xiao Feng, Feng Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、高度な理解と計画能力のため、ツール呼び出しのエージェントとして強力な可能性を示している。 ベンチマークでは、各テストケースは複数の相互関連ミッションから構成される。 また,エージェント決定の精度と効率を動的決定木を用いて評価する手法を提案する。
• 参考スコア（独自算出の注目度）: 12.218102495632937
• License:
• Abstract: Large language models (LLMs) demonstrate strong potential as agents for tool invocation due to their advanced comprehension and planning capabilities. Users increasingly rely on LLM-based agents to solve complex missions through iterative interactions. However, existing benchmarks predominantly access agents in single-mission scenarios, failing to capture real-world complexity. To bridge this gap, we propose the Multi-Mission Tool Bench. In the benchmark, each test case comprises multiple interrelated missions. This design requires agents to dynamically adapt to evolving demands. Moreover, the proposed benchmark explores all possible mission-switching patterns within a fixed mission number. Specifically, we propose a multi-agent data generation framework to construct the benchmark. We also propose a novel method to evaluate the accuracy and efficiency of agent decisions with dynamic decision trees. Experiments on diverse open-source and closed-source LLMs reveal critical factors influencing agent robustness and provide actionable insights to the tool invocation society.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、高度な理解と計画能力のため、ツール呼び出しのエージェントとして強力な可能性を示している。 ユーザは、反復的なインタラクションを通じて複雑なミッションを解決するために、LLMベースのエージェントをますます頼りにしている。 しかし、既存のベンチマークは主に単一ミッションシナリオのエージェントにアクセスし、現実世界の複雑さを捉えていない。 このギャップを埋めるため、我々はMulti-Mission Tool Benchを提案する。 ベンチマークでは、各テストケースは複数の相互関連ミッションから構成される。 この設計では、エージェントは進化する要求に動的に適応する必要がある。 さらに、提案したベンチマークでは、固定されたミッション番号内のすべてのミッションスイッチングパターンを探索する。 具体的には,ベンチマーク構築のためのマルチエージェントデータ生成フレームワークを提案する。 また,エージェント決定の精度と効率を動的決定木を用いて評価する手法を提案する。 多様なオープンソースおよびクローズドソース LLM の実験は、エージェントの堅牢性に影響を与える重要な要因を明らかにし、ツール呼び出し社会に実用的な洞察を提供する。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation [89.24729958546168]
  スマートフォンエージェントは、ユーザーがデバイスを効率的に制御するのを助けるためにますます重要になっている。 We present SPA-Bench, a comprehensive SmartPhone Agent Benchmark designed to evaluate (M)LLM-based agent。
  論文  参考訳（メタデータ） (2024-10-19T17:28:48Z)
• Optimizing Collaboration of LLM based Agents for Finite Element Analysis [1.5039745292757671]
  本稿では,Large Language Models (LLM) 内の複数のエージェント間の相互作用について,プログラミングおよびコーディングタスクの文脈で検討する。 我々はAutoGenフレームワークを利用してエージェント間の通信を容易にし、各セットアップの40のランダムランからの成功率に基づいて異なる構成を評価する。
  論文  参考訳（メタデータ） (2024-08-23T23:11:08Z)
• Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
  オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。 現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
  論文  参考訳（メタデータ） (2024-03-29T03:48:12Z)
• Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization [53.510942601223626]
  大規模言語モデル(LLM)は多様なタスクに対して堅牢な問題解決能力を示す。 これらのタスクソルバは、タスクルールを通知し、行動を調整するために手作業によるプロンプトを必要とする。 本稿では,ポリシーレベルのリフレクションと最適化を備えた LLM ベースのエージェントである Agent-Pro を提案する。
  論文  参考訳（メタデータ） (2024-02-27T15:09:20Z)
• LLMArena: Assessing Capabilities of Large Language Models in Dynamic Multi-Agent Environments [35.926581910260076]
  マルチエージェント動的環境における大規模言語モデルの能力を評価するためのフレームワークであるLLMArenaを紹介する。 LLArenaはTrueskillスコアを使用して、空間推論、戦略的計画、数値推論、リスク評価、コミュニケーション、相手モデリング、チームコラボレーションなど、LLMエージェントの重要な能力を評価する。 我々は、LLMの規模や種類によって、広範囲にわたる実験と人的評価を行い、LLMは、完全に自律的なエージェントへと発展する上で、依然として重要な道のりを歩んでいることを示す。
  論文  参考訳（メタデータ） (2024-02-26T11:31:48Z)
• Towards Robust Multi-Modal Reasoning via Model Selection [7.6621866737827045]
  LLMはエージェントの"脳"として機能し、協調的な多段階タスク解決のための複数のツールを編成する。 我々はテスト時に無視できるランタイムオーバーヘッドを持つプラグインとして、$textitM3$フレームワークを提案する。 実験の結果,我々のフレームワークは,ユーザ入力とサブタスク依存の両方を考慮した動的モデル選択を可能にすることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T16:06:18Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。