論文の概要: Large Language Models as Biomedical Hypothesis Generators: A Comprehensive Evaluation

• arxiv url: http://arxiv.org/abs/2407.08940v2
• Date: Mon, 15 Jul 2024 06:27:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 13:31:11.108915
• Title: Large Language Models as Biomedical Hypothesis Generators: A Comprehensive Evaluation
• Title（参考訳）: バイオメディカル仮説生成系としての大規模言語モデル:包括的評価
• Authors: Biqing Qi, Kaiyan Zhang, Kai Tian, Haoxiang Li, Zhang-Ren Chen, Sihang Zeng, Ermo Hua, Hu Jinfang, Bowen Zhou,
• Abstract要約: 大規模言語モデル(LLM)は、知識相互作用に革命をもたらす有望なツールとして登場した。 バイオメディカル文献から背景と仮説のペアのデータセットを構築し、トレーニング、観察、および見えないテストセットに分割する。 最上位モデルの仮説生成能力を、ゼロショット、少数ショット、微調整設定で評価する。
• 参考スコア（独自算出の注目度）: 15.495976478018264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth of biomedical knowledge has outpaced our ability to efficiently extract insights and generate novel hypotheses. Large language models (LLMs) have emerged as a promising tool to revolutionize knowledge interaction and potentially accelerate biomedical discovery. In this paper, we present a comprehensive evaluation of LLMs as biomedical hypothesis generators. We construct a dataset of background-hypothesis pairs from biomedical literature, carefully partitioned into training, seen, and unseen test sets based on publication date to mitigate data contamination. Using this dataset, we assess the hypothesis generation capabilities of top-tier instructed models in zero-shot, few-shot, and fine-tuning settings. To enhance the exploration of uncertainty, a crucial aspect of scientific discovery, we incorporate tool use and multi-agent interactions in our evaluation framework. Furthermore, we propose four novel metrics grounded in extensive literature review to evaluate the quality of generated hypotheses, considering both LLM-based and human assessments. Our experiments yield two key findings: 1) LLMs can generate novel and validated hypotheses, even when tested on literature unseen during training, and 2) Increasing uncertainty through multi-agent interactions and tool use can facilitate diverse candidate generation and improve zero-shot hypothesis generation performance. However, we also observe that the integration of additional knowledge through few-shot learning and tool use may not always lead to performance gains, highlighting the need for careful consideration of the type and scope of external knowledge incorporated. These findings underscore the potential of LLMs as powerful aids in biomedical hypothesis generation and provide valuable insights to guide further research in this area.
• Abstract（参考訳）: 生物医学的知識の急速な成長は、洞察を効率的に抽出し、新しい仮説を創出する能力を大きく上回っている。 大規模言語モデル(LLM)は、知識の相互作用を革新し、生体医学的な発見を加速するための有望なツールとして登場した。 本稿では, LLMをバイオメディカル仮説生成器として包括的に評価する。 バイオメディカル文献から背景と仮説のペアのデータセットを構築し、データ汚染を軽減するために、公開日に基づくトレーニング、観察、不明なテストセットに慎重に分割する。 このデータセットを用いて、ゼロショット、少数ショット、微調整設定で上位層の指示されたモデルの仮説生成能力を評価する。 科学的発見の重要な側面である不確実性の探索を強化するため,評価枠組みにツール利用とマルチエージェントインタラクションを取り入れた。 さらに, LLMに基づく評価と人的評価の両面から, 仮説の質を評価するために, 広範な文献レビューに基礎を置く4つの新しい指標を提案する。 我々の実験は2つの重要な発見をもたらす。 1)LLMは、トレーニング中に見えない文献でテストしても、新規で検証された仮説を生成できる。 2)マルチエージェントインタラクションやツール利用による不確実性の向上により,多様な候補生成が容易になり,ゼロショット仮説生成性能が向上する。 しかし、数発の学習とツール使用による追加知識の統合は、必ずしもパフォーマンス向上につながるとは限りませんし、組み込まれた外部知識のタイプや範囲を慎重に検討する必要性も浮き彫りにしています。 これらの知見は、LLMが生物医学的仮説生成の強力な補助となり、この分野のさらなる研究を導く貴重な洞察を与える可能性を示している。

関連論文リスト

• Causal Representation Learning from Multimodal Biological Observations [57.00712157758845]
  我々は,マルチモーダルデータに対するフレキシブルな識別条件の開発を目指している。 我々は、各潜伏成分の識別可能性を保証するとともに、サブスペース識別結果を事前の作業から拡張する。 我々の重要な理論的要素は、異なるモーダル間の因果関係の構造的空間性である。
  論文  参考訳（メタデータ） (2024-11-10T16:40:27Z)
• Automating Exploratory Proteomics Research via Language Models [22.302672656499315]
  PROTEUSは、生データから科学的発見を行うための完全に自動化されたシステムである。 人間の介入なしに研究目的、分析結果、新しい生物学的仮説を包括的に作成する。
  論文  参考訳（メタデータ） (2024-11-06T08:16:56Z)
• Explainable Biomedical Hypothesis Generation via Retrieval Augmented Generation enabled Large Language Models [46.05020842978823]
  大規模言語モデル(LLM)はこの複雑なデータランドスケープをナビゲートする強力なツールとして登場した。 RAGGEDは、知識統合と仮説生成を伴う研究者を支援するために設計された包括的なワークフローである。
  論文  参考訳（メタデータ） (2024-07-17T07:44:18Z)
• BioDiscoveryAgent: An AI Agent for Designing Genetic Perturbation Experiments [112.25067497985447]
  そこで,BioDiscoveryAgentを紹介した。このエージェントは,新しい実験を設計し,その結果の理由を明らかにし,仮説空間を効率的にナビゲートし,望ましい解に到達させる。 BioDiscoveryAgentは、機械学習モデルをトレーニングすることなく、新しい実験を独自に設計することができる。 6つのデータセットで関連する遺伝的摂動を予測することで、平均21%の改善が達成されている。
  論文  参考訳（メタデータ） (2024-05-27T19:57:17Z)
• Seeing Unseen: Discover Novel Biomedical Concepts via Geometry-Constrained Probabilistic Modeling [53.7117640028211]
  同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。 構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。 スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
  論文  参考訳（メタデータ） (2024-03-02T00:56:05Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• Large Language Models are Zero Shot Hypothesis Proposers [17.612235393984744]
  大規模言語モデル(LLM)は、情報障壁を断ち切ることを約束する、グローバルかつ学際的な知識の豊富なものである。 バイオメディカル文献から背景知識と仮説ペアからなるデータセットを構築した。 ゼロショット, 少数ショット, 微調整設定において, 最上位モデルの仮説生成能力を評価する。
  論文  参考訳（メタデータ） (2023-11-10T10:03:49Z)
• Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
  本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。 従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。 パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
  論文  参考訳（メタデータ） (2023-09-06T05:19:41Z)
• Large Language Models, scientific knowledge and factuality: A framework to streamline human expert evaluation [0.0]
  本研究は,生物医学的背景知識と対話するための大規模言語モデルの可能性を探るものである。 フレームワークには3つの評価ステップが含まれており、それぞれが流布、即応的なアライメント、セマンティック・コヒーレンス、事実的知識、生成した応答の特異性という3つの側面を逐次評価する。 この研究は、ChatGPT、GPT-4、Llama 2を含む11の最先端のLLMを2つのプロンプトベースタスクで持つ能力に関する体系的な評価を提供する。
  論文  参考訳（メタデータ） (2023-05-28T22:46:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。