論文の概要: ST-Bench: A Spatial-Temporal Benchmark for Multi-Agent System Generation on Scientific Research Tasks
- arxiv url: http://arxiv.org/abs/2610.07763v1
- Date: Tue, 06 Oct 2026 04:59:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.818344
- Title: ST-Bench: A Spatial-Temporal Benchmark for Multi-Agent System Generation on Scientific Research Tasks
- Title（参考訳）: ST-Bench:科学研究課題に基づくマルチエージェントシステム生成のための時空間ベンチマーク
- Abstract要約: マルチエージェントシステムは,複雑な科学データ解析タスクにおいて単一エージェントよりも優れており,どのコストがかかるか,という2つの疑問に答えるために設計されたベンチマークであるST-Benchを紹介する。
我々は,GPT-5バックボーン上の単一エージェントベースラインに対して,最近の5つのMAS生成手法を評価する。
10のMAS構成のうち9つは最も安価なシングルエージェントベースラインを超えており、最も高いスコアは合成スコアの3倍である。
最も強い構成では、単一エージェントの推論時間の約4倍が必要であり、経済的なワークフローでは、利益の大部分を2倍以下のコストで取得する。
- 参考スコア（独自算出の注目度）: 57.60432600675319
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid progress of LLM-based multi-agent systems (MAS) has shown that they largely outperform single agents on coding, math, and QA tasks, where executable tests provide a binary success signal. Whether this advantage transfers to real scientific data analysis remains untested. We introduce ST-Bench, a benchmark designed to answer two questions: whether MAS outperform single agents on complex scientific data analysis tasks, and if so, by how much and at what additional cost. ST-Bench contains 100 data science tasks adapted from published Earth science studies across hydrology, agriculture, and wetland methane research, expanded into 2,067 queries grounded in additional published studies and validated by domain experts. Using ST-Bench, we evaluate five recent MAS generation methods under two training protocols, against single-agent baselines on the same GPT-5 backbone. Nine of the ten MAS configurations exceed the cheapest single-agent baseline, with the strongest reaching nearly three times its composite score. This gain is primarily attributable to coverage: trained workflows produce realistic numerical metrics on a larger fraction of queries, while the quality of those metrics, conditional on producing realistic output, is comparable to that of the single-agent baseline. The strongest configuration requires approximately four times the single-agent inference time, whereas a more economical workflow captures the majority of the benefit at less than twice the cost. MAS specialization confers measurable benefit on scientific data analysis, but the benefit is conditional rather than universal.
- Abstract（参考訳）: LLMベースのマルチエージェントシステム(MAS)の急速な進歩は、実行可能テストがバイナリ成功信号を提供するコーディング、数学、QAタスクにおいて、単一のエージェントよりもはるかに優れていることを示している。
この利点が実際の科学データ分析に移行するかどうかはまだ検証されていない。
このベンチマークは、MASが複雑な科学データ分析タスクにおいて単一のエージェントより優れており、その場合、どれだけのコストとコストがかかるかという2つの疑問に答えるために設計されている。
ST-Benchには、水文学、農業、湿地メタン研究にまたがる地球科学研究から適応した100のデータサイエンスタスクが含まれており、さらに2,067のクエリに拡張され、ドメインの専門家によって検証されている。
ST-Benchを用いて,GPT-5バックボーン上の単一エージェントベースラインに対して,2つのトレーニングプロトコルでMASを生成する手法を5つ評価した。
10のMAS構成のうち9つは最も安価なシングルエージェントベースラインを超えており、最も高いスコアは合成スコアの3倍である。
トレーニングされたワークフローは、より少数のクエリに対して現実的な数値メトリクスを生成するのに対して、これらのメトリクスの品質は、現実的なアウトプットの生成を条件として、シングルエージェントのベースラインと同等である。
最も強い構成では、単一エージェントの推論時間の約4倍が必要であり、経済的なワークフローでは、利益の大部分を2倍以下のコストで取得する。
MASの専門化は、科学的データ分析において測定可能な利点を提供するが、その利点は普遍的ではなく条件的である。
関連論文リスト
- Supporting Industrial Test-Failure Analysis with LLM-Based Systems: An Experience Report [6.448990155653955]
本研究では、Westermo Network Technologies ABにおける夜間テスト障害のルート原因分析(RCA)を支援するためのツール拡張大型言語モデル(LLM)システムについて検討した。
テストメタデータとログへのアクセスの両方で、単エージェントとオーケストレーションされたマルチエージェント構成でRCAワークフローを実装しました。
評価は、コスト、持続時間、一貫性だけでなく、実践者が認識した正しさ、推論品質、修正リアリズム、明確性、有用性、信頼をカバーした。
論文 参考訳（メタデータ） (2026-09-18T14:39:42Z) - Agents-K1: Towards Agent-native Knowledge Orchestration [59.22667222947257]
textbfAgents-K1はエンドツーエンドの知識オーケストレーションパイプラインである。
生文書をエージェントネイティブな科学知識グラフに変換する。
我々は6つの被験者にわたる246万件の科学論文を処理し、TextbfScholar-KGを作成し、そのうち100万件の論文のサブセットを公開します。
論文 参考訳（メタデータ） (2026-06-11T17:58:35Z) - MM-Doc-R1: Training Agents for Long Document Visual Question Answering through Multi-turn Reinforcement Learning [74.07254720088926]
長文の視覚的質問応答に対処するために,エージェント型視覚認識ワークフローを利用する新しいフレームワークMM-Doc-R1を紹介する。
GRPOのような既存のマルチターン強化学習(RL)アルゴリズムにおけるベースライン推定バイアスに対処する、類似性に基づくポリシー最適化(SPO)を提案する。
MMLongbench-Docベンチマークの実験では、MM-Doc-R1が以前のベースラインを10.4%上回る結果となった。
論文 参考訳（メタデータ） (2026-04-15T07:39:08Z) - Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets [14.028807574426748]
データ処理の不等式に基づく情報理論の議論を示す。
トークンを一定に保った場合,SASはマルチホップ推論タスクにおいてMASと一貫して一致し,より優れることがわかった。
以上の結果から,マルチホップ推論タスクにおいて,マルチエージェントシステムのアドバンテージを未計算の計算や文脈効果によってよりよく説明できることが示唆された。
論文 参考訳（メタデータ） (2026-04-02T18:47:48Z) - SPM-Bench: Benchmarking Large Language Models for Scanning Probe Microscopy [12.070587084660096]
走査型プローブ顕微鏡(SPM)に特化して設計されたPhDレベルのマルチモーダルベンチマークを提案する。
AGS(Anchor-Gated Sieve)技術を用いて,2023年から2025年にかけて発行されたarXivとジャーナル論文から高価値画像テキストペアを効率よく抽出する。
当社のパイプラインは,高データセットの純度を維持しながら,極端なトークン保存を実現しています。
論文 参考訳（メタデータ） (2026-02-26T13:08:56Z) - SciAgentGym: Benchmarking Multi-Step Scientific Tool-use in LLM Agents [100.12367115920121]
SciGymAgentは4つの自然科学分野にまたがる1,780のドメイン固有ツールを備えたスケーラブルなインタラクティブ環境である。
SciAgentBenchについても紹介する。
論文 参考訳（メタデータ） (2026-02-13T14:58:18Z) - HeurekaBench: A Benchmarking Framework for AI Co-scientist [2.206319727896241]
HeurekaBenchは、実験データセットに対する探索的でオープンな研究質問を伴うベンチマークを作成するためのフレームワークである。
単細胞生物学のフレームワークをインスタンス化し、Sc-HeurekaBenchベンチマークを取得し、最先端の単細胞エージェントと比較する。
批判モジュールを追加することで、オープンソースLLMエージェントの不正な応答を最大22%改善し、クローズドソースエージェントとのギャップを埋めることができる。
論文 参考訳（メタデータ） (2026-01-04T22:16:42Z) - AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite [75.58737079136942]
本稿では,AstaBenchについて紹介する。AstaBenchは,科学的研究を行うためのエージェント能力の総合的な測定を行うスイートである。
私たちのスイートには、プロダクショングレードの検索ツールを備えた、最初の科学研究環境が付属しています。
22のエージェントクラスで57のエージェントを評価したところ,いくつかの興味深い結果が得られた。
論文 参考訳（メタデータ） (2025-10-24T17:10:26Z) - EpidemIQs: Prompt-to-Paper LLM Agents for Epidemic Modeling and Analysis [0.0]
大規模言語モデル(LLM)は、複雑な学際研究を自動化する新しい機会を提供する。
EpidemIQsは、ユーザ入力を統合し、文献のレビュー、分析的導出、ネットワークモデリング、シミュレーションの呼び出し、データの可視化と分析、そして最後に構造化された原稿での発見の文書化を行う、新しいマルチエージェントLCMフレームワークである。
我々は、計算コスト、完成率、AIおよび生成されたレポートの人間専門家レビューを測定する様々なシナリオにおいて、エピデムIQを評価した。
論文 参考訳（メタデータ） (2025-09-24T18:54:56Z) - CTTS: Collective Test-Time Scaling [58.564620942591866]
テスト時スケーリング(TTS)は,大規模言語モデル(LLM)のパフォーマンス向上のための,有望かつトレーニング不要なアプローチとして登場した。
単体テストタイムスケーリング(STTS)パラダイムを克服するために、CTTS(Collective Test-Time Scaling)を導入します。
CTTS-MMは、マルチエージェントとマルチリワードのコラボレーションを運用する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-08-05T11:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。