論文の概要: BixBench: a Comprehensive Benchmark for LLM-based Agents in Computational Biology

• arxiv url: http://arxiv.org/abs/2503.00096v2
• Date: Sat, 08 Mar 2025 00:57:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:39:53.628345
• Title: BixBench: a Comprehensive Benchmark for LLM-based Agents in Computational Biology
• Title（参考訳）: BixBench:計算生物学におけるLCMベースのエージェントの総合ベンチマーク
• Authors: Ludovico Mitchener, Jon M Laurent, Benjamin Tenmann, Siddharth Narayanan, Geemi P Wellawatte, Andrew White, Lorenzo Sani, Samuel G Rodriques,
• Abstract要約: LLM(Large Language Models)とLLMをベースとしたエージェントは、科学研究の加速に大きな期待を示している。 本稿では,バイオインフォマティクスベンチマーク(BixBench)について述べる。 オープンソースのカスタムエージェントフレームワークを用いて,2つのフロンティアLCMの性能評価を行った。
• 参考スコア（独自算出の注目度）: 0.8061245870721293
• License:
• Abstract: Large Language Models (LLMs) and LLM-based agents show great promise in accelerating scientific research. Existing benchmarks for measuring this potential and guiding future development continue to evolve from pure recall and rote knowledge tasks, towards more practical work such as literature review and experimental planning. Bioinformatics is a domain where fully autonomous AI-driven discovery may be near, but no extensive benchmarks for measuring progress have been introduced to date. We therefore present the Bioinformatics Benchmark (BixBench), a dataset comprising over 50 real-world scenarios of practical biological data analysis with nearly 300 associated open-answer questions designed to measure the ability of LLM-based agents to explore biological datasets, perform long, multi-step analytical trajectories, and interpret the nuanced results of those analyses. We evaluate the performance of two frontier LLMs (GPT-4o and Claude 3.5 Sonnet) using a custom agent framework we open source. We find that even the latest frontier models only achieve 17% accuracy in the open-answer regime, and no better than random in a multiple-choice setting. By exposing the current limitations of frontier models, we hope BixBench can spur the development of agents capable of conducting rigorous bioinformatic analysis and accelerate scientific discovery.
• Abstract（参考訳）: LLM(Large Language Models)とLLMをベースとしたエージェントは、科学研究の加速に大きな期待を示している。 この可能性を測定し、将来の発展を導くための既存のベンチマークは、純粋なリコールとロート知識タスクから、文献レビューや実験計画のようなより実践的な作業へと進化し続けています。 バイオインフォマティクス(bioinformatics)は、完全に自律的なAI駆動の発見が近いかもしれない分野であるが、進歩を測定するための広範なベンチマークはこれまでに導入されていない。 そこで,生物情報学ベンチマーク (BixBench) は, LLMをベースとしたエージェントが生物学的データセットを探索し, 長期の多段階解析的軌道解析を行い, それらの解析結果のナンス化を図った, 実世界の50以上の実データ分析シナリオからなるデータセットである。 我々はオープンソースのカスタムエージェントフレームワークを用いて2つのフロンティアLLM(GPT-4oとClaude 3.5 Sonnet)の性能を評価する。 最新のフロンティアモデルでさえ、オープンアンサー方式では17%の精度しか達成せず、複数選択設定ではランダムにしか得られないことがわかった。 現在のフロンティアモデルの限界を明らかにすることで、BixBenchは厳密なバイオインフォマティクス分析を実行し、科学的発見を加速できるエージェントの開発を加速できることを期待します。

関連論文リスト

• MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
  我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。 これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。 我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
  論文  参考訳（メタデータ） (2025-02-20T12:28:23Z)
• Knowledge Hierarchy Guided Biological-Medical Dataset Distillation for Domain LLM Training [10.701353329227722]
  学術文献から高品質なテキストトレーニングデータの蒸留を自動化する枠組みを提案する。 われわれのアプローチは、バイオメディカル領域とより密接に一致した質問を自己評価し、生成する。 本手法は,生命科学領域の事前学習モデルと比較して,質問応答タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-25T07:20:44Z)
• A Survey on Multimodal Benchmarks: In the Era of Large AI Models [13.299775710527962]
  MLLM(Multimodal Large Language Models)は、人工知能に大きな進歩をもたらした。 この調査は、4つのコアドメイン(理解、推論、生成、アプリケーション)にわたるMLLMを評価する211のベンチマークを体系的にレビューする。
  論文  参考訳（メタデータ） (2024-09-21T15:22:26Z)
• DSBench: How Far Are Data Science Agents to Becoming Data Science Experts? [58.330879414174476]
  現実的なタスクでデータサイエンスエージェントを評価するためのベンチマークであるDSBenchを紹介する。 このベンチマークには、466のデータ分析タスクと、EloquenceとKaggleのコンペからソースされた74のデータモデリングタスクが含まれている。 現状のLLM, LVLM, エージェントを評価したところ, 最高のエージェントはデータ解析タスクの34.12%しか解決できず, RPG(Relative Performance Gap)は34.74%であった。
  論文  参考訳（メタデータ） (2024-09-12T02:08:00Z)
• BLADE: Benchmarking Language Model Agents for Data-Driven Science [18.577658530714505]
  プランニング、メモリ、コード実行機能を備えたLMベースのエージェントは、データ駆動科学をサポートする可能性がある。 本稿では,エージェントの多面的アプローチを自動的に評価するベンチマークBLADEについて述べる。
  論文  参考訳（メタデータ） (2024-08-19T02:59:35Z)
• LAB-Bench: Measuring Capabilities of Language Models for Biology Research [1.6312096924271486]
  言語エージェント生物学ベンチマーク(LAB-Bench)を紹介する。 これは、AIシステムを評価するための2,400以上の複数の選択質問のデータセットである。 また,本ベンチマークに対して,複数のフロンティア言語モデルの性能を測定し,人間の専門生物学研究者と比較して結果を報告する。
  論文  参考訳（メタデータ） (2024-07-14T23:52:25Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• ProBio: A Protocol-guided Multimodal Dataset for Molecular Biology Lab [67.24684071577211]
  研究結果を複製するという課題は、分子生物学の分野に重大な障害をもたらしている。 まず、この目的に向けた最初のステップとして、ProBioという名前の包括的なマルチモーダルデータセットをキュレートする。 次に、透明なソリューショントラッキングとマルチモーダルなアクション認識という2つの挑戦的なベンチマークを考案し、BioLab設定におけるアクティビティ理解に関連する特徴と難しさを強調した。
  論文  参考訳（メタデータ） (2023-11-01T14:44:01Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。