論文の概要: LLMs Outperform Experts on Challenging Biology Benchmarks

• arxiv url: http://arxiv.org/abs/2505.06108v3
• Date: Wed, 21 May 2025 20:34:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:22.331977
• Title: LLMs Outperform Experts on Challenging Biology Benchmarks
• Title（参考訳）: LLMがバイオロジーベンチマークの実施で専門家を抜いてパフォーマンスを向上
• Authors: Lennart Justen,
• Abstract要約: 本研究は8つの生物学ベンチマークで27のフロンティア大言語モデルを体系的に評価する。 トップモデルのパフォーマンスは、Virology Capabilities Testの挑戦的なテキストのみのサブセットで4倍以上に向上した。 いくつかのモデルは、他の挑戦的なベンチマークで専門家レベルのパフォーマンスに適合または超えている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study systematically evaluates 27 frontier Large Language Models on eight biology benchmarks spanning molecular biology, genetics, cloning, virology, and biosecurity. Models from major AI developers released between November 2022 and April 2025 were assessed through ten independent runs per benchmark. The findings reveal dramatic improvements in biological capabilities. Top model performance increased more than 4-fold on the challenging text-only subset of the Virology Capabilities Test over the study period, with OpenAI's o3 now performing twice as well as expert virologists. Several models now match or exceed expert-level performance on other challenging benchmarks, including the biology subsets of GPQA and WMDP and LAB-Bench CloningScenarios. Contrary to expectations, chain-of-thought did not substantially improve performance over zero-shot evaluation, while extended reasoning features in o3-mini and Claude 3.7 Sonnet typically improved performance as predicted by inference scaling. Benchmarks such as PubMedQA and the MMLU and WMDP biology subsets exhibited performance plateaus well below 100%, suggesting benchmark saturation and errors in the underlying benchmark data. The analysis highlights the need for more sophisticated evaluation methodologies as AI systems continue to advance.
• Abstract（参考訳）: 本研究は, 分子生物学, 遺伝学, クローン, ウイルス学, バイオセキュリティにまたがる8つの生物学ベンチマークにおいて, 27のフロンティア大言語モデルを系統的に評価した。 2022年11月から2025年4月までにリリースされた主要なAI開発者によるモデルは、ベンチマーク毎に10の独立した実行を通じて評価された。 生物学的能力は劇的に向上した。 トップモデルのパフォーマンスは、研究期間を通じて、Virology Capabilities Testの挑戦的なテキストのみのサブセットで4倍以上に向上し、OpenAIのo3は現在、専門家のウイルス学者の2倍のパフォーマンスを示している。 いくつかのモデルは、GPQA、WMDP、LAB-Bench CloningScenariosの生物学サブセットなど、他の困難なベンチマークで専門家レベルのパフォーマンスに適合または超えている。 予想に反して、チェーン・オブ・シークレットはゼロショット評価よりも性能が大幅に向上しなかったが、o3-miniとClaude 3.7 Sonnetは推論スケーリングによって予測される性能が向上した。 PubMedQA や MMLU や WMDP の生物学サブセットのようなベンチマークでは、ベンチマークの飽和や、基礎となるベンチマークデータのエラーが100%以下であった。 この分析は、AIシステムが進歩し続けるにつれて、より洗練された評価方法論の必要性を強調している。

関連論文リスト

• MicroVQA: A Multimodal Reasoning Benchmark for Microscopy-Based Scientific Research [57.61445960384384]
  MicroVQA は、生物学の専門家が様々な顕微鏡のモードでキュレートした 1,042 の多重選択質問 (MCQ) から構成される。 最先端のMLLMのベンチマークでは、ピーク性能は53%であった。 チェーン・オブ・シント・レスポンスのエキスパート分析では、知覚エラーが最も頻繁であり、続いて知識エラー、そして過一般化エラーが続く。
  論文  参考訳（メタデータ） (2025-03-17T17:33:10Z)
• The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
  BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。 本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。 大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
  論文  参考訳（メタデータ） (2024-12-06T23:43:59Z)
• SemiHVision: Enhancing Medical Multimodal Models with a Semi-Human Annotated Dataset and Fine-Tuned Instruction Generation [13.672776832197918]
  MLLM(Multimodal large language model)は大きな進歩を遂げているが、専門知識が限られているため、医療分野の課題に直面している。 データ収集やモデル微調整,評価など,エンドツーエンドの学習パイプラインのさまざまな段階において,このギャップに対処することを目指している。
  論文  参考訳（メタデータ） (2024-10-19T02:35:35Z)
• Benchmarking Transcriptomics Foundation Models for Perturbation Analysis : one PCA still rules them all [1.507700065820919]
  転写学的シークエンシングの最近の進歩は、価値ある洞察を明らかにする新しい機会を提供する。 摂動解析におけるこれらの上昇モデルの有効性をしっかり評価するためのベンチマークは行われていない。 本稿では,生物学的に動機づけた新しい評価フレームワークと摂動解析タスクの階層について述べる。
  論文  参考訳（メタデータ） (2024-10-17T18:27:51Z)
• Phikon-v2, A large and public feature extractor for biomarker prediction [42.52549987351643]
  我々は、DINOv2を用いて視覚変換器を訓練し、このモデルの1つのイテレーションを公開して、Phikon-v2と呼ばれるさらなる実験を行う。 Phikon-v2は、公開されている組織学のスライドをトレーニングしながら、以前リリースしたモデル(Phikon)を上回り、プロプライエタリなデータでトレーニングされた他の病理学基盤モデル(FM)と同等に動作します。
  論文  参考訳（メタデータ） (2024-09-13T20:12:29Z)
• Leveraging Vision Language Models for Specialized Agricultural Tasks [19.7240633020344]
  本稿では,植物ストレス表現におけるビジョン言語モデルの能力を評価するためのベンチマークであるAgEvalを紹介する。 本研究は,ドメイン固有のタスクに対して汎用的なVLMをどのように活用できるかを,いくつかの注釈付き例で検討する。 以上の結果から,VLMの特殊タスクへの適応性は,F1スコアが46.24%から73.37%に向上した。
  論文  参考訳（メタデータ） (2024-07-29T00:39:51Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• ProBio: A Protocol-guided Multimodal Dataset for Molecular Biology Lab [67.24684071577211]
  研究結果を複製するという課題は、分子生物学の分野に重大な障害をもたらしている。 まず、この目的に向けた最初のステップとして、ProBioという名前の包括的なマルチモーダルデータセットをキュレートする。 次に、透明なソリューショントラッキングとマルチモーダルなアクション認識という2つの挑戦的なベンチマークを考案し、BioLab設定におけるアクティビティ理解に関連する特徴と難しさを強調した。
  論文  参考訳（メタデータ） (2023-11-01T14:44:01Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。