論文の概要: BioEVAL: A global, multi-institutional benchmark of large language and multimodal models for bioengineering

• arxiv url: http://arxiv.org/abs/2609.30489v1
• Date: Thu, 24 Sep 2026 19:26:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.118842
• Title: BioEVAL: A global, multi-institutional benchmark of large language and multimodal models for bioengineering
• Title（参考訳）: BioEVAL: バイオエンジニアリングのための大規模言語とマルチモーダルモデルの国際的多施設ベンチマーク
• Abstract要約: 大規模言語モデル (LLMs) は、生物医学の初期の成功と共に、一般的な推論において歴史的に画期的な進歩を見せている。 バイオエンジニアリングのサブフィールドにまたがる実験的推論能力の評価を目的とした,グローバルな多施設間イニシアティブであるBioEVALを組み立てた。 BioEVALは、11の主要なBEサブフィールドと、分類されていない項目のセットにまたがっており、22の研究グループをまとめてPhDレベルのベンチマークを作成する。
• 参考スコア（独自算出の注目度）: 34.61671844130205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated historic breakthroughs in general reasoning with early successes in biomedical science. However, existing LLM benchmarking emphasizes factual recall, offering limited insight into model performance on frontier and multimodal tasks. We assembled BioEVAL (BioEngineering Validation of AI and LLMs), a global, multi-institutional initiative designed to assess experimental reasoning capability across bioengineering (BE) subfields. BioEVAL spans 11 major BE subfields plus a set of uncategorized items, bringing together 22 research groups to create a PhD-level benchmark comprising 608 evaluation items: 1) 380 multiple-choice questions (MCQs, 359 retained after audit), 2) 218 literature synthesis tasks, and 3) 10 multimodal problems with experimental image interpretation. Benchmark items underwent authoring-group expert review and centralized quality control before evaluation. Following evaluation, a blinded cross-group consensus audit of the highest- and lowest-accuracy MCQ items flagged 21 questions for revision or removal; these were withheld, and all reported MCQ results are computed on the 359 retained items. We evaluated diverse cloud-scale foundation/multimodal models (e.g., ChatGPT, Gemini, and Grok) and locally deployable models suitable for inference on consumer-grade GPUs. Models achieved the highest accuracy of up to 90% on MCQs, similarity score of 0.72 on literature synthesis, and accuracy of 80% on a small sample of multimodal reasoning questions, with substantial performance variation across subfields. Leaderboard rankings characterize current capabilities, limitations, and development priorities across the evaluated BE task categories. BioEVAL is maintained as an extensible benchmark with standardized protocols for continuing expert item contribution and model evaluation.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、生物医学の初期の成功と共に、一般的な推論において歴史的に画期的な進歩を見せている。 しかし、既存のLLMベンチマークでは、フロンティアおよびマルチモーダルタスクにおけるモデルパフォーマンスに関する限られた洞察を提供する事実的リコールが強調されている。 我々は,バイオエンジニアリング(BE)サブフィールド間の実験推論能力を評価するために,バイオEVAL(BioEngineering Validation of AI and LLMs)を編成した。 BioEVALは、11の主要なBEサブフィールドと一組の未分類項目にまたがっており、22の研究グループが組み合わされ、608の評価項目からなるPhDレベルベンチマークを作成する。 1)多重選択質問380件(MCQ,監査後359件) 2【218 文献合成作業】 3) 実験画像解釈によるマルチモーダル問題10。 ベンチマーク項目は、評価の前にオーサリンググループ専門家レビューと集中的な品質管理を行った。 評価の結果,上位および最下位のMCQ項目に対するブラインド・クロスグループ・コンセンサス・オーディションでは,21項目のリビジョンや削除を通知したが,これらは中止され,報告されたMCQ結果は359項目で計算された。 クラウドスケールのファンデーション/マルチモーダルモデル(ChatGPT,Gemini,Grokなど)と,コンシューマグレードGPUの推論に適したローカルデプロイ可能なモデルを評価した。 MCQでは最大90%の精度、文献合成では0.72の類似性スコア、サブフィールド間での大幅な性能変化を伴う少数の多モーダル推論質問では80%の精度を達成した。 リーダーボードランキングは、評価されたBEタスクカテゴリ全体の現在の機能、制限、開発の優先順位を特徴付ける。 BioEVALは、エキスパートアイテムのコントリビューションとモデル評価を継続するための標準化されたプロトコルを備えた拡張可能なベンチマークとして維持されている。

関連論文リスト

• BioResearcher: Scenario-Guided Multi-Agent for Translational Medicine [1.497336135403194]
  Ingenix BioResearcherはシナリオ誘導型マルチエージェントシステムで、クエリをバージョン管理されたリサーチプレイブックにマップする。 バイオリサーバーは, 単位レベルの能力, オープンエンドなバイオメディカル推論, エンドツーエンドの臨床発見にわたって評価した。
  論文  参考訳（メタデータ） (2026-05-07T10:33:43Z)
• BMMR: A Large-Scale Bilingual Multimodal Multi-Discipline Reasoning Dataset [83.61028277413543]
  大規模バイリンガル・マルチモーダル・マルチディシプリナ推論データセットであるBMMRを導入し,大規模マルチモーダルモデル(LMM)の開発と評価を行った。 BMMRは、UNESCOが定義した300の課題にまたがる110kの大学レベルの質問で構成されており、書籍、試験、クイズといった印刷メディアとデジタルメディアからソースされた、多種多様なフォーマット、補充されたQA、そしてオープンエンドのQAにまたがっている。 BMMR-Evalは20,458の高品質なインスタンスで構成され、LMMの知識を包括的に評価し、中国語と中国語の両方の複数の分野にわたる推論を行う。
  論文  参考訳（メタデータ） (2025-07-04T11:20:09Z)
• LLMs Outperform Experts on Challenging Biology Benchmarks [0.0]
  本研究は8つの生物学ベンチマークで27のフロンティア大言語モデルを体系的に評価する。 トップモデルのパフォーマンスは、Virology Capabilities Testの挑戦的なテキストのみのサブセットで4倍以上に向上した。 いくつかのモデルは、他の挑戦的なベンチマークで専門家レベルのパフォーマンスに適合または超えている。
  論文  参考訳（メタデータ） (2025-05-09T15:05:57Z)
• R-Bench: Graduate-level Multi-disciplinary Benchmarks for LLM & MLLM Complex Reasoning Evaluation [75.33671166231096]
  我々は、Reasoning Bench(R-Bench)と呼ばれる、大学院レベルの多学派、英語の中国語ベンチマークを導入する。 RBenchは108の被験者に1,094の質問を、83の被験者に665の質問を、マルチモーダルなモデルテストに当てはめている。 我々は,OpenAI o1,GPT-4o,DeepSeek-R1など,広く使用されているモデルを評価した。
  論文  参考訳（メタデータ） (2025-05-04T07:48:36Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。