論文の概要: BioStudyBench: Evaluating Agents on Post-Cutoff Biomedical Studies

• arxiv url: http://arxiv.org/abs/2610.07614v1
• Date: Tue, 06 Oct 2026 02:01:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.752699
• Title: BioStudyBench: Evaluating Agents on Post-Cutoff Biomedical Studies
• Title（参考訳）: BioStudyBench:ポストカットオフバイオメディカル研究における薬剤の評価
• Abstract要約: 公開データを用いたバイオメディカル研究の報告結果とAIエージェントが一致できるかを評価する。 2026年7月から9月にかけて発行された研究から得られた25の長軸解析タスクのベンチマークであるBioStudyBenchを紹介した。 各タスクにおいて、エージェントは中立的な研究質問を受信するが、データファイルはないため、関連する公開データを検索してダウンロードし、カット前のレコードのみを返すツールを通じて文献を検索し、データ解析を通じて結果を報告しなければならない。
• 参考スコア（独自算出の注目度）: 1.3805959975219801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We evaluate whether AI agents can match the reported findings of published biomedical studies using public data. Existing evaluations do not consistently separate analysis from prior knowledge or retrieval of the published answer. We introduce BioStudyBench, a benchmark of 25 long-horizon analysis tasks drawn from studies first published between July and September 2026, after the developer-reported knowledge cutoffs of the models we evaluate, semi-automatically filtered down from 404,019 PubMed records. In each task, the agent receives a neutral research question but no data files, so it must find and download the relevant public data, search the literature through tools that return only records dated before its cutoff, and report findings through data analysis. To measure gains over prior knowledge, we run every task both with and without access to data and tools. Across eight models, access to data and tools raises the pass rate by 47 percentage points on average over the no-data baseline. Open-weight models across sizes trail closed-weight models, with the best open-weight model passing 81.3% of tasks against 94.7% for the best closed-weight model.
• Abstract（参考訳）: 公開データを用いたバイオメディカル研究の報告結果とAIエージェントが一致できるかを評価する。 既存の評価は、発行された回答の事前の知識や検索と一貫して分析を分離するものではない。 2026年7月から9月までに発表された研究から得られた25の長軸解析タスクのベンチマークであるBioStudyBenchを紹介した。 各タスクにおいて、エージェントは中立的な研究質問を受信するが、データファイルはないため、関連する公開データを検索してダウンロードし、カット前のレコードのみを返すツールを通じて文献を検索し、データ解析を通じて結果を報告しなければならない。 事前の知識以上の利得を測定するために、私たちはデータやツールにアクセスせずにすべてのタスクを実行します。 8つのモデルにまたがって、データやツールへのアクセスは、非データベースライン上で平均47ポイントのパスレートを上昇させる。 オープンウェイトモデルでは81.3%がタスクをパスし、94.7%がクローズトウェイトモデルである。

関連論文リスト

• SleuthBench: Benchmarking Statistical LLM Evaluation Using Tabular Hidden Signals [4.216927605951118]
  SLEUTHBENCHは、制御されたデータ品質の問題と、パブリックデータセットに機能効果を注入するベンチマークである。 注入されたパターンは、実データ解析で報告された現象に基づいてモデル化される。 我々は、データサイエンスと70の検証されたデータセット-テンプレートの組み合わせのビジネス・フレーズに基づいて、Pythonのコーディングツールを用いてデータを解析する6つの最先端LCMを評価した。
  論文  参考訳（メタデータ） (2026-09-28T03:34:37Z)
• Model Retirement Creates Reproducibility Risk in Biomedical AI Publications [0.0]
  バイオメディカルタスクに特定の大規模言語モデルを適用した研究論文について,PubMedを検索した。 我々は,5,242冊にまたがる8,931冊の論文を同定した。 全体の42%は、公式発表の時点で既に引退していたモデルか、2年以内に引退する予定のモデルであった。
  論文  参考訳（メタデータ） (2026-09-04T04:00:54Z)
• Bringing analytic rigor to agentic AI for science: The Brain Researcher platform for neuroimaging data analysis [59.44063760362954]
  本稿では、神経イメージング研究者の計算環境で動作するエージェントリサーチハーネスであるBrain Researcherを紹介する。 ベンチマークでは、Brain Researcherは7つのモデルで第1選択ツールの選択精度を70.2ポイント向上させた。 共同研究と自己進化研究において、多元的分析によって分析選択感度が明らかにされ、科学的レビューでは、承認された、認定された、修正された、ブロックされた、拒否された、または延期された。
  論文  参考訳（メタデータ） (2026-08-20T11:13:27Z)
• BioSecBench-Surveillance: A Verifiable Benchmark for AI Agents in Pathogen Genomic Surveillance [1.1800365763212117]
  BioSecBench-Surveillanceは100評価の検証可能なベンチマークである。 各評価は、エージェントに人間のアナリストが持つデータとコンテキストのみを与え、その構造化された回答を決定論的に評価する。 PIのオプス4.8は50.2%で、信頼区間の95%が40.1から60.3%と評価された。
  論文  参考訳（メタデータ） (2026-07-21T16:33:57Z)
• OpenThoughts-Agent: Data Recipes for Agentic Models [99.10629645072653]
  OT-Agentプロジェクトはエージェントモデルをトレーニングするための完全にオープンなデータキュレーションパイプラインである。 パイプラインの各段階について100以上の制御アブレーション実験を行った。 このデータセットには、パイプラインから100Kのサンプルと微調整されたQwen3-32Bのトレーニングセットが組み込まれています。
  論文  参考訳（メタデータ） (2026-06-23T17:34:29Z)
• BioResearcher: Scenario-Guided Multi-Agent for Translational Medicine [1.497336135403194]
  Ingenix BioResearcherはシナリオ誘導型マルチエージェントシステムで、クエリをバージョン管理されたリサーチプレイブックにマップする。 バイオリサーバーは, 単位レベルの能力, オープンエンドなバイオメディカル推論, エンドツーエンドの臨床発見にわたって評価した。
  論文  参考訳（メタデータ） (2026-05-07T10:33:43Z)
• DataClaw: A Process-Oriented Agent Benchmark for Exploratory Real-World Data Analysis [76.98578575566184]
  DataClawは、探索的実世界のデータ分析のためのプロセス指向のベンチマークである。 企業、産業、および政策ドメイン全体で約2億6600万の現実世界の記録がある。 DataClawは、エージェントがどこまで進歩し、その推論がどこで壊れるかを測定する。
  論文  参考訳（メタデータ） (2026-05-04T11:57:09Z)
• AgentIR: Reasoning-Aware Retrieval for Deep Research Agents [76.29382561831105]
  ディープリサーチエージェントは、各検索の前に明示的な自然言語推論を生成する。 Reasoning-Aware Retrievalは、クエリと一緒にエージェントの推論トレースを埋め込む。 DR-Synthは、標準的なQAデータセットからDeep Researchレトリバーのトレーニングデータを生成する。 AgentIR-4Bは、オープンウェイトエージェントであるTongyi-DeepResearchで68%の精度を達成する。
  論文  参考訳（メタデータ） (2026-03-04T18:47:26Z)
• Scaling Generalist Data-Analytic Agents [95.05161133349242]
  DataMindは、汎用データ分析エージェントを構築するために設計されたスケーラブルなデータ合成およびエージェントトレーニングレシピである。 DataMindは、オープンソースのデータ分析エージェントを構築する上で重要な3つの課題に取り組む。
  論文  参考訳（メタデータ） (2025-09-29T17:23:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。