論文の概要: Genome-Bench: A Scientific Reasoning Benchmark from Real-World Expert Discussions
- arxiv url: http://arxiv.org/abs/2505.19501v1
- Date: Mon, 26 May 2025 04:28:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:43.169315
- Title: Genome-Bench: A Scientific Reasoning Benchmark from Real-World Expert Discussions
- Title（参考訳）: Genome-Bench: 現実のエキスパートの議論から得られた科学的推論ベンチマーク
- Authors: Ming Yin, Yuanhao Qu, Dyllan Liu, Ling Yang, Le Cong, Mengdi Wang,
- Abstract要約: textitGenome-Benchはゲノム工学に関する10年以上にわたる科学フォーラムの議論から作られた新しいベンチマークだ。
我々のパイプラインは生のインタラクションを、3000以上の高品質な質問応答ペアによってサポートされた強化学習フレンドリな多重選択質問形式に変換する。
- 参考スコア（独自算出の注目度）: 42.98891219912345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this short report, we present an automated pipeline tailored for the genomics domain and introduce \textit{Genome-Bench}, a new benchmark constructed from over a decade of scientific forum discussions on genome engineering. Our pipeline transforms raw interactions into a reinforcement learning friendly multiple-choice questions format, supported by 3000+ high quality question answer pairs spanning foundational biology, experimental troubleshooting, tool usage, and beyond. To our knowledge, this is the first end-to-end pipeline for teaching LLMs to reason from scientific discussions, with promising potential for generalization across scientific domains beyond biology.
- Abstract（参考訳）: 本稿では,ゲノム領域に適した自動パイプラインを提案し,ゲノム工学に関する10年以上にわたる科学フォーラムの議論から構築された新しいベンチマークである「textit{Genome-Bench}」を紹介する。
私たちのパイプラインは、生のインタラクションを、基礎生物学、実験的なトラブルシューティング、ツールの使用などにわたる3000以上の高品質な質問応答ペアによってサポートされた、強化学習フレンドリなマルチチョイス質問形式に変換します。
我々の知る限り、このパイプラインはLLMに科学的な議論から理にかなっている最初のエンドツーエンドのパイプラインであり、生物学以外の科学分野にまたがる一般化の可能性を秘めている。
関連論文リスト
- Biological Sequence with Language Model Prompting: A Survey [14.270959261105968]
大きな言語モデル(LLM)は、さまざまなドメインにまたがる課題に対処するための強力なツールとして登場した。
本稿では, LLMを用いたプロンプトベース手法の生物学的配列への応用を系統的に検討する。
論文 参考訳（メタデータ） (2025-03-06T06:28:36Z) - BioMaze: Benchmarking and Enhancing Large Language Models for Biological Pathway Reasoning [49.487327661584686]
実際の研究から5.1Kの複雑な経路問題を持つデータセットであるBioMazeを紹介する。
CoT法やグラフ拡張推論法などの手法の評価は,LLMが経路推論に苦慮していることを示している。
そこで本稿では,インタラクティブなサブグラフベースのナビゲーションにより推論を強化するLLMエージェントであるPathSeekerを提案する。
論文 参考訳（メタデータ） (2025-02-23T17:38:10Z) - A Review on the Applications of Transformer-based language models for Nucleotide Sequence Analysis [0.8049701904919515]
本稿では, ヌクレオチド配列の文脈における近年のトランスフォーマーモデルの発展について紹介する。
このレビューは、トランスフォーマーベースの言語モデルからヌクレオチド配列への様々な応用を理解する上で、科学コミュニティの助けになると考えています。
論文 参考訳（メタデータ） (2024-12-10T05:33:09Z) - To Transformers and Beyond: Large Language Models for the Genome [2.799755865110429]
本稿では,大言語モデル (LLM) の変換的役割について述べる。
従来の畳み込みニューラルネットワークとリカレントニューラルネットワークの基礎の上に構築され、トランスフォーマーの長所と短所の両方を探求する。
我々は、現在の研究動向に基づいて、トランスフォーマーアーキテクチャを超えてゲノムモデリングの未来を考察する。
論文 参考訳（メタデータ） (2023-11-13T02:13:58Z) - ProBio: A Protocol-guided Multimodal Dataset for Molecular Biology Lab [67.24684071577211]
研究結果を複製するという課題は、分子生物学の分野に重大な障害をもたらしている。
まず、この目的に向けた最初のステップとして、ProBioという名前の包括的なマルチモーダルデータセットをキュレートする。
次に、透明なソリューショントラッキングとマルチモーダルなアクション認識という2つの挑戦的なベンチマークを考案し、BioLab設定におけるアクティビティ理解に関連する特徴と難しさを強調した。
論文 参考訳（メタデータ） (2023-11-01T14:44:01Z) - ScienceWorld: Is your Agent Smarter than a 5th Grader? [12.066880938687154]
本稿では,エージェントの科学的推論能力をテストするための新しいベンチマーク,ScienceWorldを提案する。
現在の最先端モデルは、新しい文脈で学んだ科学概念を推論したり説明できない。
論文 参考訳（メタデータ） (2022-03-14T22:52:34Z) - SciFive: a text-to-text transformer model for biomedical literature [0.9482369543628087]
本稿では,大規模なバイオメディカルコーパスで事前学習したドメイン固有T5モデルであるSciFiveを紹介する。
本研究は,より困難なテキスト生成タスクの探索と,本領域における新しい手法の開発を支援する。
論文 参考訳（メタデータ） (2021-05-28T06:09:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。