論文の概要: Large Language Models as Biomedical Hypothesis Generators: A Comprehensive Evaluation

• arxiv url: http://arxiv.org/abs/2407.08940v2
• Date: Mon, 15 Jul 2024 06:27:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 13:31:11.108915
• Title: Large Language Models as Biomedical Hypothesis Generators: A Comprehensive Evaluation
• Title（参考訳）: バイオメディカル仮説生成系としての大規模言語モデル:包括的評価
• Authors: Biqing Qi, Kaiyan Zhang, Kai Tian, Haoxiang Li, Zhang-Ren Chen, Sihang Zeng, Ermo Hua, Hu Jinfang, Bowen Zhou,
• Abstract要約: 大規模言語モデル(LLM)は、知識相互作用に革命をもたらす有望なツールとして登場した。 バイオメディカル文献から背景と仮説のペアのデータセットを構築し、トレーニング、観察、および見えないテストセットに分割する。 最上位モデルの仮説生成能力を、ゼロショット、少数ショット、微調整設定で評価する。
• 参考スコア（独自算出の注目度）: 15.495976478018264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth of biomedical knowledge has outpaced our ability to efficiently extract insights and generate novel hypotheses. Large language models (LLMs) have emerged as a promising tool to revolutionize knowledge interaction and potentially accelerate biomedical discovery. In this paper, we present a comprehensive evaluation of LLMs as biomedical hypothesis generators. We construct a dataset of background-hypothesis pairs from biomedical literature, carefully partitioned into training, seen, and unseen test sets based on publication date to mitigate data contamination. Using this dataset, we assess the hypothesis generation capabilities of top-tier instructed models in zero-shot, few-shot, and fine-tuning settings. To enhance the exploration of uncertainty, a crucial aspect of scientific discovery, we incorporate tool use and multi-agent interactions in our evaluation framework. Furthermore, we propose four novel metrics grounded in extensive literature review to evaluate the quality of generated hypotheses, considering both LLM-based and human assessments. Our experiments yield two key findings: 1) LLMs can generate novel and validated hypotheses, even when tested on literature unseen during training, and 2) Increasing uncertainty through multi-agent interactions and tool use can facilitate diverse candidate generation and improve zero-shot hypothesis generation performance. However, we also observe that the integration of additional knowledge through few-shot learning and tool use may not always lead to performance gains, highlighting the need for careful consideration of the type and scope of external knowledge incorporated. These findings underscore the potential of LLMs as powerful aids in biomedical hypothesis generation and provide valuable insights to guide further research in this area.
• Abstract（参考訳）: 生物医学的知識の急速な成長は、洞察を効率的に抽出し、新しい仮説を創出する能力を大きく上回っている。 大規模言語モデル(LLM)は、知識の相互作用を革新し、生体医学的な発見を加速するための有望なツールとして登場した。 本稿では, LLMをバイオメディカル仮説生成器として包括的に評価する。 バイオメディカル文献から背景と仮説のペアのデータセットを構築し、データ汚染を軽減するために、公開日に基づくトレーニング、観察、不明なテストセットに慎重に分割する。 このデータセットを用いて、ゼロショット、少数ショット、微調整設定で上位層の指示されたモデルの仮説生成能力を評価する。 科学的発見の重要な側面である不確実性の探索を強化するため,評価枠組みにツール利用とマルチエージェントインタラクションを取り入れた。 さらに, LLMに基づく評価と人的評価の両面から, 仮説の質を評価するために, 広範な文献レビューに基礎を置く4つの新しい指標を提案する。 我々の実験は2つの重要な発見をもたらす。 1)LLMは、トレーニング中に見えない文献でテストしても、新規で検証された仮説を生成できる。 2)マルチエージェントインタラクションやツール利用による不確実性の向上により,多様な候補生成が容易になり,ゼロショット仮説生成性能が向上する。 しかし、数発の学習とツール使用による追加知識の統合は、必ずしもパフォーマンス向上につながるとは限りませんし、組み込まれた外部知識のタイプや範囲を慎重に検討する必要性も浮き彫りにしています。 これらの知見は、LLMが生物医学的仮説生成の強力な補助となり、この分野のさらなる研究を導く貴重な洞察を与える可能性を示している。

関連論文リスト

• Knowledge Hierarchy Guided Biological-Medical Dataset Distillation for Domain LLM Training [10.701353329227722]
  学術文献から高品質なテキストトレーニングデータの蒸留を自動化する枠組みを提案する。 われわれのアプローチは、バイオメディカル領域とより密接に一致した質問を自己評価し、生成する。 本手法は,生命科学領域の事前学習モデルと比較して,質問応答タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-25T07:20:44Z)
• Simulating Tabular Datasets through LLMs to Rapidly Explore Hypotheses about Real-World Entities [9.235910374587734]
  本稿では, コンクリート構造物の特性評価にLCMを適用することにより, 仮説の素早いプロトタイプ化の可能性について検討する。 目標は、人間と機械のコラボレーションを通じて、仮説をもっと早く解釈できるようにすることだ。
  論文  参考訳（メタデータ） (2024-11-27T05:48:44Z)
• Causal Representation Learning from Multimodal Biological Observations [57.00712157758845]
  我々は,マルチモーダルデータに対するフレキシブルな識別条件の開発を目指している。 我々は、各潜伏成分の識別可能性を保証するとともに、サブスペース識別結果を事前の作業から拡張する。 我々の重要な理論的要素は、異なるモーダル間の因果関係の構造的空間性である。
  論文  参考訳（メタデータ） (2024-11-10T16:40:27Z)
• Explainable Biomedical Hypothesis Generation via Retrieval Augmented Generation enabled Large Language Models [46.05020842978823]
  大規模言語モデル(LLM)はこの複雑なデータランドスケープをナビゲートする強力なツールとして登場した。 RAGGEDは、知識統合と仮説生成を伴う研究者を支援するために設計された包括的なワークフローである。
  論文  参考訳（メタデータ） (2024-07-17T07:44:18Z)
• BioDiscoveryAgent: An AI Agent for Designing Genetic Perturbation Experiments [112.25067497985447]
  そこで,BioDiscoveryAgentを紹介した。このエージェントは,新しい実験を設計し,その結果の理由を明らかにし,仮説空間を効率的にナビゲートし,望ましい解に到達させる。 BioDiscoveryAgentは、機械学習モデルをトレーニングすることなく、新しい実験を独自に設計することができる。 6つのデータセットで関連する遺伝的摂動を予測することで、平均21%の改善が達成されている。
  論文  参考訳（メタデータ） (2024-05-27T19:57:17Z)
• ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
  ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。 ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。 我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-11T13:36:29Z)
• Seeing Unseen: Discover Novel Biomedical Concepts via Geometry-Constrained Probabilistic Modeling [53.7117640028211]
  同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。 構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。 スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
  論文  参考訳（メタデータ） (2024-03-02T00:56:05Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• Large Language Models are Zero Shot Hypothesis Proposers [17.612235393984744]
  大規模言語モデル(LLM)は、情報障壁を断ち切ることを約束する、グローバルかつ学際的な知識の豊富なものである。 バイオメディカル文献から背景知識と仮説ペアからなるデータセットを構築した。 ゼロショット, 少数ショット, 微調整設定において, 最上位モデルの仮説生成能力を評価する。
  論文  参考訳（メタデータ） (2023-11-10T10:03:49Z)
• Large Language Models, scientific knowledge and factuality: A framework to streamline human expert evaluation [0.0]
  本研究は,生物医学的背景知識と対話するための大規模言語モデルの可能性を探るものである。 フレームワークには3つの評価ステップが含まれており、それぞれが流布、即応的なアライメント、セマンティック・コヒーレンス、事実的知識、生成した応答の特異性という3つの側面を逐次評価する。 この研究は、ChatGPT、GPT-4、Llama 2を含む11の最先端のLLMを2つのプロンプトベースタスクで持つ能力に関する体系的な評価を提供する。
  論文  参考訳（メタデータ） (2023-05-28T22:46:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。