論文の概要: Evaluating the Potential of Leading Large Language Models in Reasoning Biology Questions

• arxiv url: http://arxiv.org/abs/2311.07582v1
• Date: Sun, 5 Nov 2023 03:34:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-19 14:17:08.353085
• Title: Evaluating the Potential of Leading Large Language Models in Reasoning Biology Questions
• Title（参考訳）: 推論生物学における大規模言語モデルの可能性評価
• Authors: Xinyu Gong, Jason Holmes, Yiwei Li, Zhengliang Liu, Qi Gan, Zihao Wu, Jianli Zhang, Yusong Zou, Yuxi Teng, Tian Jiang, Hongtu Zhu, Wei Liu, Tianming Liu, Yajun Yan
• Abstract要約: 本研究では,概念生物学的な疑問に答える上で,LLM(Large Language Models)をリードする能力について検討した。 これらのモデルは、分子生物学、生物学的技術、代謝工学、合成生物学における生物学のトピックをカバーする108回の多重選択試験で試験された。 その結果、GPT-4の論理的推論能力と、データ分析、仮説生成、知識統合といった能力を通じて生物学の研究を支援する可能性を示唆した。
• 参考スコア（独自算出の注目度）: 33.81650223615028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Large Language Models (LLMs) have presented new opportunities for integrating Artificial General Intelligence (AGI) into biological research and education. This study evaluated the capabilities of leading LLMs, including GPT-4, GPT-3.5, PaLM2, Claude2, and SenseNova, in answering conceptual biology questions. The models were tested on a 108-question multiple-choice exam covering biology topics in molecular biology, biological techniques, metabolic engineering, and synthetic biology. Among the models, GPT-4 achieved the highest average score of 90 and demonstrated the greatest consistency across trials with different prompts. The results indicated GPT-4's proficiency in logical reasoning and its potential to aid biology research through capabilities like data analysis, hypothesis generation, and knowledge integration. However, further development and validation are still required before the promise of LLMs in accelerating biological discovery can be realized.
• Abstract（参考訳）: 近年のLarge Language Models(LLMs)の進歩は、人工知能(AGI)を生物学的研究と教育に統合する新たな機会を提示している。 本研究は, GPT-4, GPT-3.5, PaLM2, Claude2, SenseNovaなどのLLMを概念生物学的疑問に答える能力について検討した。 モデルは、分子生物学、生物学技術、代謝工学、合成生物学の生物学のトピックをカバーする108問のマルチチョイス試験でテストされた。 モデルの中でgpt-4は平均スコアが90で、異なるプロンプトを持つ試験で最大の一貫性を示した。 結果は,gpt-4の論理的推論能力と,データ分析,仮説生成,知識統合などを通じて生物学研究を支援する可能性を示した。 しかし、生物学的発見の加速におけるllmの約束が実現する前に、さらなる開発と検証が必要である。

関連論文リスト

• GP-GPT: Large Language Model for Gene-Phenotype Mapping [44.12550855245415]
  GP-GPTは、遺伝的・フェノタイプ知識表現とゲノム関連解析のための最初の専門的な大規模言語モデルである。 我々のモデルは、ゲノム学、遺伝学、科学出版物において3000,000以上の用語からなる包括的コーパスで2段階にわたって微調整されている。
  論文  参考訳（メタデータ） (2024-09-15T18:56:20Z)
• VLM4Bio: A Benchmark Dataset to Evaluate Pretrained Vision-Language Models for Trait Discovery from Biological Images [21.497452524517783]
  生物生物学分野における12種類のSOTA(State-of-the-art)VLMsの有効性を,新しいデータセットであるVLM4Bioを用いて評価した。 また,幻覚を推論するためのプロンプト技術やテストの適用がVLMの性能に及ぼす影響についても検討した。
  論文  参考訳（メタデータ） (2024-08-28T23:53:57Z)
• Multimodal Large Language Models for Bioimage Analysis [39.120941702559726]
  MLLM(Multimodal Large Language Models)は、理解、分析、推論、一般化など、創発的な能力を示す。 これらの能力により、MLLMは生物学的画像や様々なモダリティによって得られたデータから複雑な情報を抽出することを約束する。 MLLMの開発は、生物学研究における人間の研究者を増強するためのインテリジェントアシスタントやエージェントとしての役割において、公約が増していることを示している。
  論文  参考訳（メタデータ） (2024-07-29T08:21:25Z)
• Understanding Biology in the Age of Artificial Intelligence [4.299566787216408]
  現代生命科学の研究は、生物システムをモデル化するための人工知能のアプローチにますます依存している。 機械学習(ML)モデルは、大規模で複雑なデータセットのパターンを特定するのに有用であるが、生物学におけるその広範な応用は、従来の科学的調査方法から大きく逸脱している。 ここでは,生物現象をモデル化し,科学的知識を進化させるために,MLシステムの設計と応用を導く一般的な原理を同定する。
  論文  参考訳（メタデータ） (2024-03-06T23:20:34Z)
• BioT5+: Towards Generalized Biological Understanding with IUPAC Integration and Multi-task Tuning [77.90250740041411]
  本稿では,BioT5フレームワークの拡張であるBioT5+を紹介する。 BioT5+ には、分子理解のための IUPAC 名の統合、bioRxiv や PubChem などのソースからの広範なバイオテキストと分子データの統合、タスク間の汎用性のためのマルチタスク命令チューニング、数値データの処理を改善する数値トークン化技術など、いくつかの新機能が含まれている。
  論文  参考訳（メタデータ） (2024-02-27T12:43:09Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• Progress and Opportunities of Foundation Models in Bioinformatics [77.74411726471439]
  基礎モデル(FM)は、特に深層学習の領域において、計算生物学の新しい時代に定着した。 我々の焦点は、特定の生物学的問題にFMを応用することであり、研究ニーズに適切なFMを選択するために研究コミュニティを指導することを目的としています。 データノイズ、モデル説明可能性、潜在的なバイアスなど、生物学においてFMが直面する課題と限界を分析します。
  論文  参考訳（メタデータ） (2024-02-06T02:29:17Z)
• ProBio: A Protocol-guided Multimodal Dataset for Molecular Biology Lab [67.24684071577211]
  研究結果を複製するという課題は、分子生物学の分野に重大な障害をもたらしている。 まず、この目的に向けた最初のステップとして、ProBioという名前の包括的なマルチモーダルデータセットをキュレートする。 次に、透明なソリューショントラッキングとマルチモーダルなアクション認識という2つの挑戦的なベンチマークを考案し、BioLab設定におけるアクティビティ理解に関連する特徴と難しさを強調した。
  論文  参考訳（メタデータ） (2023-11-01T14:44:01Z)
• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
  本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-10-19T07:17:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。