論文の概要: InfoMosaic-Bench: Evaluating Multi-Source Information Seeking in Tool-Augmented Agents

• arxiv url: http://arxiv.org/abs/2510.02271v2
• Date: Sat, 04 Oct 2025 09:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 14:28:10.986413
• Title: InfoMosaic-Bench: Evaluating Multi-Source Information Seeking in Tool-Augmented Agents
• Title（参考訳）: InfoMosaic-Bench: ツール強化エージェントにおけるマルチソース情報検索の評価
• Authors: Yaxin Du, Yuanshuo Zhang, Xiyuan Yang, Yifan Zhou, Cheng Wang, Gongyi Zou, Xianghe Pang, Wenhao Wang, Menglan Chen, Shuo Tang, Zhiyu Li, Feiyu Xiong, Siheng Chen,
• Abstract要約: InfoMosaic-Benchは、ツール拡張されたエージェントを探すマルチソース情報に特化した最初のベンチマークである。 汎用検索とドメイン固有のツールを組み合わせるにはエージェントが必要である。 この設計は信頼性と非自明性の両方を保証する。
• 参考スコア（独自算出の注目度）: 60.89180545430896
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Information seeking is a fundamental requirement for humans. However, existing LLM agents rely heavily on open-web search, which exposes two fundamental weaknesses: online content is noisy and unreliable, and many real-world tasks require precise, domain-specific knowledge unavailable from the web. The emergence of the Model Context Protocol (MCP) now allows agents to interface with thousands of specialized tools, seemingly resolving this limitation. Yet it remains unclear whether agents can effectively leverage such tools -- and more importantly, whether they can integrate them with general-purpose search to solve complex tasks. Therefore, we introduce InfoMosaic-Bench, the first benchmark dedicated to multi-source information seeking in tool-augmented agents. Covering six representative domains (medicine, finance, maps, video, web, and multi-domain integration), InfoMosaic-Bench requires agents to combine general-purpose search with domain-specific tools. Tasks are synthesized with InfoMosaic-Flow, a scalable pipeline that grounds task conditions in verified tool outputs, enforces cross-source dependencies, and filters out shortcut cases solvable by trivial lookup. This design guarantees both reliability and non-triviality. Experiments with 14 state-of-the-art LLM agents reveal three findings: (i) web information alone is insufficient, with GPT-5 achieving only 38.2% accuracy and 67.5% pass rate; (ii) domain tools provide selective but inconsistent benefits, improving some domains while degrading others; and (iii) 22.4% of failures arise from incorrect tool usage or selection, highlighting that current LLMs still struggle with even basic tool handling.
• Abstract（参考訳）: 情報検索は人間にとって基本的な要件である。 しかし、既存のLLMエージェントはオープンウェブ検索に大きく依存しており、これは2つの根本的な弱点を露呈している。 Model Context Protocol(MCP)の出現により、エージェントは数千の専門ツールとインターフェースできるようになり、どうやらこの制限を解消しているようだ。 しかし、エージェントがそのようなツールを効果的に活用できるかどうかは不明だ。 そこで我々は,ツール拡張エージェントを用いたマルチソース情報検索のための最初のベンチマークであるInfoMosaic-Benchを紹介する。 6つの代表的なドメイン(医療、金融、地図、ビデオ、ウェブ、マルチドメインの統合)をカバーするInfoMosaic-Benchは、汎用検索とドメイン固有のツールを組み合わせるためにエージェントを必要とする。 タスクはInfoMosaic-Flowで合成される。このスケーラブルなパイプラインは、検証済みのツール出力にタスク条件を基盤として、ソース間の依存関係を強制し、簡単なルックアップで解決可能なショートカットケースをフィルタリングする。 この設計は信頼性と非自明性の両方を保証する。 最先端のLLM剤14種を用いた実験で、以下の3つの結果が判明した。 (i)ウェブ情報だけでは不十分であり、GPT-5は38.2%の精度と67.5%のパスレートしか達成していない。 (II)ドメインツールは、選択的だが一貫性のない利点を提供し、いくつかのドメインを改善しながら、他のドメインを劣化させる。 (iii)22.4%の障害は、不正なツールの使用や選択によって発生し、現在のLLMは、基本的なツール処理にも苦戦している。

関連論文リスト

• ML-Tool-Bench: Tool-Augmented Planning for ML Tasks [23.54937738755734]
  ツール強化機械学習エージェントの評価のためのベンチマークを導入する。 私たちのベンチマークは、インメモリ名のオブジェクト管理を組み込むことで、従来のツール使用の評価を超えています。 我々のアプローチはReActよりも16.2%向上し、すべてのKaggle課題の中央値を取ります。
  論文  参考訳（メタデータ） (2025-11-29T23:59:40Z)
• DeepAgent: A General Reasoning Agent with Scalable Toolsets [111.6384541877723]
  DeepAgentは、自律的な思考、ツール発見、アクション実行を実行するエンドツーエンドのディープ推論エージェントである。 長期にわたる相互作用の課題に対処するために,過去の相互作用を構造化エピソード,動作,ツール記憶に圧縮する自律的メモリ折り畳み機構を導入する。 LLMシミュレートされたAPIを活用し、ツール呼び出しトークンにきめ細かいクレジットを割り当てるツールコールアドバンテージ属性を適用した、エンドツーエンドの強化学習戦略であるToolPOを開発した。
  論文  参考訳（メタデータ） (2025-10-24T16:24:01Z)
• InfoAgent: Advancing Autonomous Information-Seeking Agents [143.15973604285304]
  本稿では,革新的なデータ合成パイプラインとWeb検索ツールを駆使したディープリサーチエージェントInfoAgentを紹介する。 我々の方法では、InfoAgentはBrowseCompで15.3%、BrowseComp-ZHで29.2%、Xbench-DSで40.4%の精度を達成した。
  論文  参考訳（メタデータ） (2025-09-29T17:59:57Z)
• T^2Agent A Tool-augmented Multimodal Misinformation Detection Agent with Monte Carlo Tree Search [51.91311158085973]
  多重モーダル誤報は、しばしば混合偽造源から発生し、動的推論と適応的検証を必要とする。 我々はモンテカルロ木探索を用いたツールキットを組み込んだ新しい誤情報検出剤T2Agentを提案する。 大規模な実験により、T2Agentは、混在するマルチモーダル誤報ベンチマークにおいて、既存のベースラインを一貫して上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-05-26T09:50:55Z)
• GraphTeam: Facilitating Large Language Model-based Graph Analysis via Multi-Agent Collaboration [31.07238612043854]
  GraphTeamは3つのモジュールから5つのLLMベースのエージェントで構成されており、異なる特殊性を持つエージェントは複雑な問題に対処するために協力することができる。 6つのグラフ分析ベンチマークの実験は、GraphTeamが最先端のパフォーマンスを達成し、精度の点で最高のベースラインよりも平均25.85%改善していることを示している。
  論文  参考訳（メタデータ） (2024-10-23T17:02:59Z)
• MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
  大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。 ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。 3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-18T00:58:41Z)
• GTA: A Benchmark for General Tool Agents [32.443456248222695]
  229個の実世界のタスクと実行可能なツールチェーンを設計し、主要な大言語モデル(LLM)を評価する。 GPT-4 はタスクの 50% 以下であり,ほとんどの LLM は 25% 以下である。 この評価は、現実シナリオにおける現在のLLMのツール利用能力のボトルネックを明らかにし、汎用ツールエージェントを前進させるための今後の方向性を提供する。
  論文  参考訳（メタデータ） (2024-07-11T17:50:09Z)
• Enhancing Open-Domain Task-Solving Capability of LLMs via Autonomous Tool Integration from GitHub [79.31134731122462]
  オープンドメインのタスク解決能力を評価するためにOpenActベンチマークを導入します。 我々は,オープンドメインの進化するクエリに,GitHubから専門ツールを自律的に統合することで対処できる,新しいLLMベースのエージェントシステムであるOpenAgentを紹介する。
  論文  参考訳（メタデータ） (2023-12-28T15:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。