論文の概要: ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery

• arxiv url: http://arxiv.org/abs/2410.05080v2
• Date: Thu, 24 Oct 2024 03:37:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 00:28:18.655180
• Title: ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery
• Title（参考訳）: ScienceAgentBench: データ駆動科学発見のための言語エージェントの厳格な評価を目指して
• Authors: Ziru Chen, Shijie Chen, Yuting Ning, Qianheng Zhang, Boshi Wang, Botao Yu, Yifei Li, Zeyi Liao, Chen Wei, Zitong Lu, Vishal Dey, Mingyi Xue, Frazier N. Baker, Benjamin Burns, Daniel Adu-Ampratwum, Xuhui Huang, Xia Ning, Song Gao, Yu Su, Huan Sun,
• Abstract要約: 44の査読論文から4つの分野の102の課題を抽出し,9つの課題の専門家による検証を行った。 我々は、各タスクのターゲット出力を、自己完結型のPythonプログラムファイルに統一する。 データ汚染の懸念を軽減するための2つの効果的な戦略を提案する。
• 参考スコア（独自算出の注目度）: 23.773528748933934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advancements of language language models (LLMs) have piqued growing interest in developing LLM-based language agents to automate scientific discovery end-to-end, which has sparked both excitement and skepticism about their true capabilities. In this work, we call for rigorous assessment of agents on individual tasks in a scientific workflow before making bold claims on end-to-end automation. To ensure the scientific authenticity and real-world relevance of our benchmark, we extract 102 tasks from 44 peer-reviewed publications in four disciplines and engage nine subject matter experts to validate them. We unify the target output for every task to a self-contained Python program file and employ an array of evaluation metrics to examine the generated programs, execution results, and costs. Each task goes through multiple rounds of manual validation by annotators and subject matter experts to ensure its annotation quality and scientific plausibility. We also propose two effective strategies to mitigate data contamination concerns. Using our benchmark, we evaluate five open-weight and proprietary LLMs, each with three frameworks: direct prompting, OpenHands CodeAct, and self-debug. Given three attempts for each task, the best-performing agent can only solve 32.4% of the tasks independently and 34.3% with expert-provided knowledge. In addition, we evaluate OpenAI o1 with direct prompting and self-debug, which demonstrates the effectiveness of increasing inference-time compute. Still, our results underscore the limitations of current language agents in generating code for data-driven discovery, let alone end-to-end automation for scientific research.
• Abstract（参考訳）: 言語モデル(LLMs)の進歩は、科学的な発見をエンドツーエンドに自動化するLLMベースの言語エージェントの開発への関心が高まっている。 この研究では、エンドツーエンドの自動化に関する大胆な主張をする前に、科学的ワークフローにおける個々のタスクに対するエージェントの厳格な評価を要求します。 本ベンチマークの科学的信頼性と実世界の関連性を確保するため,44の査読論文から4つの分野の102のタスクを抽出し,9つの課題の専門家による検証を行った。 我々は、各タスクの目標出力を自己完結型Pythonプログラムファイルに統一し、生成されたプログラム、実行結果、コストを調べるために、一連の評価指標を使用する。 それぞれのタスクは、アノテーションの品質と科学的妥当性を保証するために、アノテータや主題の専門家による複数の手動検証を経る。 また、データ汚染の懸念を軽減するための2つの効果的な戦略を提案する。 当社のベンチマークでは,ダイレクトプロンプト,OpenHands CodeAct,セルフデバッグという3つのフレームワークを備えた,オープンウェイトかつプロプライエタリなLLMを5つ評価しています。 それぞれのタスクに対して3つの試みがなされると、最高のパフォーマンスエージェントは32.4%のタスクを個別に解決することができ、34.3%は専門家が提供する知識で解決できる。 さらに,直接的プロンプトと自己デバッグによるOpenAI o1の評価を行い,推論時間の増大の有効性を示した。 それでも、私たちの結果は、科学研究のためのエンドツーエンドの自動化はもちろんのこと、データドリブンな発見のためのコードを生成する上で、現在の言語エージェントの限界を浮き彫りにしています。

関連論文リスト

• LLM4DS: Evaluating Large Language Models for Data Science Code Generation [0.0]
  本稿では、Microsoft Copilot(GPT-4 Turbo)、ChatGPT(o1-preview)、Claude(3.5 Sonnet)、Perplexity Labs(Llama-3.1-70b-instruct)の4つの主要なAIアシスタントの性能を実証的に評価する。 すべてのモデルが50%の成功率を超え、ランダムなチャンスを超えた能力が確認された。 ChatGPTは様々な難易度で一貫した性能を示し、クロードの成功率はタスクの複雑さによって変動した。
  論文  参考訳（メタデータ） (2024-11-16T18:43:26Z)
• CORE-Bench: Fostering the Credibility of Published Research Through a Computational Reproducibility Agent Benchmark [11.794931453828974]
  CORE-Benchは3つの分野(コンピュータ科学、社会科学、医学)にわたる90の科学論文に基づく270のタスクからなるベンチマークである。 エージェントの精度を高速かつ並列に測定する評価システムを提案する。 最高のエージェントは、最も難しいタスクにおいて21%の精度を達成した。
  論文  参考訳（メタデータ） (2024-09-17T17:13:19Z)
• DSBench: How Far Are Data Science Agents to Becoming Data Science Experts? [58.330879414174476]
  現実的なタスクでデータサイエンスエージェントを評価するためのベンチマークであるDSBenchを紹介する。 このベンチマークには、466のデータ分析タスクと、EloquenceとKaggleのコンペからソースされた74のデータモデリングタスクが含まれている。 現状のLLM, LVLM, エージェントを評価したところ, 最高のエージェントはデータ解析タスクの34.12%しか解決できず, RPG(Relative Performance Gap)は34.74%であった。
  論文  参考訳（メタデータ） (2024-09-12T02:08:00Z)
• SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
  Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。 本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。 我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
  論文  参考訳（メタデータ） (2024-09-11T17:37:48Z)
• BLADE: Benchmarking Language Model Agents for Data-Driven Science [18.577658530714505]
  プランニング、メモリ、コード実行機能を備えたLMベースのエージェントは、データ駆動科学をサポートする可能性がある。 本稿では,エージェントの多面的アプローチを自動的に評価するベンチマークBLADEについて述べる。
  論文  参考訳（メタデータ） (2024-08-19T02:59:35Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• Tree Search for Language Model Agents [69.43007235771383]
  対話型Web環境での探索と多段階計画を行うために,LMエージェントの推論時探索アルゴリズムを提案する。 我々のアプローチは、実環境空間内で機能する最優先木探索の一形態である。 現実的なWebタスクにおいて有効性を示すLMエージェントのための最初の木探索アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-01T17:07:55Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• From Words to Code: Harnessing Data for Program Synthesis from Natural Language [12.665932954069476]
  大規模言語モデル(LLM)が生成するプログラムをリランクする手法であるセマンティック・リグレードを導入する。 また,LLMが生成する試料を高温と低温の両方で混合する温度混合も導入した。 トップ1の精度は最大45%、トップ3の精度は34%向上した。
  論文  参考訳（メタデータ） (2023-05-02T16:56:32Z)
• DERA: Enhancing Large Language Model Completions with Dialog-Enabled Resolving Agents [5.562984399879218]
  大規模言語モデル(LLM)は多くの自然言語理解タスクに有用なツールとして登場した。 本稿では,対話型解決エージェント(DERA)について述べる。 DERAは、LPMの会話能力の増加、すなわちGPT-4によって実現されたパラダイムである。 モデルがフィードバックを伝達し、反復的に出力を改善するための、シンプルで解釈可能なフォーラムを提供する。
  論文  参考訳（メタデータ） (2023-03-30T00:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。