論文の概要: PersonaScienceBench: Evaluating Scientific Agents with Diverse Simulated Researchers
- arxiv url: http://arxiv.org/abs/2610.32106v1
- Date: Fri, 23 Oct 2026 03:11:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.3331
- Title: PersonaScienceBench: Evaluating Scientific Agents with Diverse Simulated Researchers
- Title（参考訳）: PersonaScienceBench: 異種研究者による科学的エージェントの評価
- Abstract要約: PersonaScienceBench: 4つの科学領域にわたる5つのベンチマークから200のタスク。
シミュレーション研究者は、ペルソナプロファイルに従ってコンテキストとフィードバックを提供する。
エージェントは会話を通じてのみ研究者の好みに遭遇する。
- 参考スコア（独自算出の注目度）: 42.626171687715335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific agents collaborate with researchers whose expertise and preferences differ, but benchmarks usually hold the collaborator fixed. We introduce PersonaScienceBench: 200 tasks from five benchmarks across four scientific domains. Simulated researchers provide context and feedback according to persona profiles, while task objectives and grading remain fixed. Agents encounter researcher preferences only through conversation. Across eighteen modelconfigurations, task performance, fact recovery, and self-repetition reveal different strengths. Detailed GPT 6 Astra analyses show distinct agent responses across researcher profiles; interaction traces illustrate targeted clar ification and workflow revision. These behaviors can differ even when final scores match. PersonaScienceBench therefore evaluates how agents collaborate with diverse researchers alongside whether they complete the task.
- Abstract（参考訳）: 科学的エージェントは専門知識と好みが異なる研究者と協力するが、ベンチマークは通常、協力者を固定する。
PersonaScienceBench: 4つの科学領域にわたる5つのベンチマークから200のタスクを紹介します。
シミュレーションされた研究者はペルソナプロファイルに従ってコンテキストとフィードバックを提供するが、タスクの目的とグレーディングは固定されている。
エージェントは会話を通じてのみ研究者の好みに遭遇する。
18のモデル構成、タスクのパフォーマンス、事実回復、そして自己反復は、異なる強みを明らかにします。
詳細な GPT 6 Astra 分析では、研究者のプロファイル間で異なるエージェント応答が示され、インタラクショントレースは、対象の明確化とワークフローのリビジョンを示している。
これらの動作は、最終的なスコアが一致しても異なる可能性がある。
そこでPersonaScienceBenchは、エージェントがタスクを完了するかどうかとともに、多様な研究者とどのように協力するかを評価する。
関連論文リスト
- SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks [58.530730974708014]
大規模言語モデル(LLM)エージェントは、科学研究を支援する能力がますます高まっている。
既存のベンチマークは、しばしば選択された科学的能力やタスクタイプに焦点を当てる。
SCI-AGENT-EXAM(SCI-AGENT-EXAM)は,11分野に120の専門的なタスクと7つの研究課題からなるベンチマークである。
論文 参考訳（メタデータ） (2026-10-23T10:06:55Z) - Personalized Auto-Research: Towards a True AI Co-Scientist [90.01790420664169]
研究目標を考えると、最先端のシステムは研究者に依存しないままである。
小説、価値、実現可能なものは研究者によって異なる。
本稿では,検索,仮説探索,実験,執筆,レビューを通じて,グラフグラウンドの研究者コンテキストをスレッド化するフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-14T20:43:27Z) - Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。
ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。
タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
論文 参考訳（メタデータ） (2026-06-10T22:55:30Z) - INDIBATOR: Diverse and Fact-Grounded Individuality for Multi-Agent Debate in Molecular Discovery [34.94648673694909]
INDIBATORは、個々の科学者プロファイルにエージェントを接地する分子発見のフレームワークである。
本評価は, 粗粒度ペルソナに依存するシステムにおいて, 微粒度個別化エージェントが常に優れていたことを示す。
論文 参考訳（メタデータ） (2026-02-02T08:47:36Z) - ReplicationBench: Can AI Agents Replicate Astrophysics Research Papers? [29.17900668495058]
本稿では、フロンティアAIエージェントの評価フレームワークであるReplicationBenchを紹介する。
天体物理学の文献から得られた研究論文全体を、エージェントが複製できるかどうかを検査する。
R ReplicationBenchは、論文スケールで専門家が検証した天体物理学の研究タスクの最初のベンチマークを確立している。
論文 参考訳（メタデータ） (2025-10-28T16:21:19Z) - AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite [75.58737079136942]
本稿では,AstaBenchについて紹介する。AstaBenchは,科学的研究を行うためのエージェント能力の総合的な測定を行うスイートである。
私たちのスイートには、プロダクショングレードの検索ツールを備えた、最初の科学研究環境が付属しています。
22のエージェントクラスで57のエージェントを評価したところ,いくつかの興味深い結果が得られた。
論文 参考訳（メタデータ） (2025-10-24T17:10:26Z) - BLADE: Benchmarking Language Model Agents for Data-Driven Science [21.682416167339635]
プランニング、メモリ、コード実行機能を備えたLMベースのエージェントは、データ駆動科学をサポートする可能性がある。
本稿では,エージェントの多面的アプローチを自動的に評価するベンチマークBLADEについて述べる。
論文 参考訳（メタデータ） (2024-08-19T02:59:35Z) - ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。
ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。
我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
論文 参考訳（メタデータ） (2024-04-11T13:36:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。