論文の概要: Large Language Models are Zero Shot Hypothesis Proposers
- arxiv url: http://arxiv.org/abs/2311.05965v1
- Date: Fri, 10 Nov 2023 10:03:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 15:33:16.171728
- Title: Large Language Models are Zero Shot Hypothesis Proposers
- Title(参考訳): 大きな言語モデルはゼロショット仮説の提案者です
- Authors: Biqing Qi, Kaiyan Zhang, Haoxiang Li, Kai Tian, Sihang Zeng, Zhang-Ren
Chen, Bowen Zhou
- Abstract要約: 大規模言語モデル(LLM)は、情報障壁を断ち切ることを約束する、グローバルかつ学際的な知識の豊富なものである。
バイオメディカル文献から背景知識と仮説ペアからなるデータセットを構築した。
ゼロショット, 少数ショット, 微調整設定において, 最上位モデルの仮説生成能力を評価する。
- 参考スコア(独自算出の注目度): 17.612235393984744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Significant scientific discoveries have driven the progress of human
civilisation. The explosion of scientific literature and data has created
information barriers across disciplines that have slowed the pace of scientific
discovery. Large Language Models (LLMs) hold a wealth of global and
interdisciplinary knowledge that promises to break down these information
barriers and foster a new wave of scientific discovery. However, the potential
of LLMs for scientific discovery has not been formally explored. In this paper,
we start from investigating whether LLMs can propose scientific hypotheses. To
this end, we construct a dataset consist of background knowledge and hypothesis
pairs from biomedical literature. The dataset is divided into training, seen,
and unseen test sets based on the publication date to control visibility. We
subsequently evaluate the hypothesis generation capabilities of various
top-tier instructed models in zero-shot, few-shot, and fine-tuning settings,
including both closed and open-source LLMs. Additionally, we introduce an
LLM-based multi-agent cooperative framework with different role designs and
external tools to enhance the capabilities related to generating hypotheses. We
also design four metrics through a comprehensive review to evaluate the
generated hypotheses for both ChatGPT-based and human evaluations. Through
experiments and analyses, we arrive at the following findings: 1) LLMs
surprisingly generate untrained yet validated hypotheses from testing
literature. 2) Increasing uncertainty facilitates candidate generation,
potentially enhancing zero-shot hypothesis generation capabilities. These
findings strongly support the potential of LLMs as catalysts for new scientific
discoveries and guide further exploration.
- Abstract(参考訳): 重要な科学的発見が人類文明の進展を促した。
科学文献やデータの爆発は、科学的な発見のペースを遅くする分野にまたがる情報障壁を生み出した。
大規模言語モデル(llm)は、これらの情報障壁を壊し、新たな科学的発見の波を育むことを約束する、グローバルかつ学際的な知識を豊富に持っている。
しかし、科学的な発見のためのLLMの可能性は公式には検討されていない。
本稿では,llmが科学的仮説を提案できるかどうかの検討から始める。
この目的のために,生物医学文献の背景知識と仮説ペアからなるデータセットを構築する。
データセットは、可視性を制御するために、公開日に基づいてトレーニング、見る、見えないテストセットに分割される。
その後,ゼロショット,少数ショット,微調整設定,クローズドおよびオープンソース llm を含む様々な最上位指示モデルの仮説生成能力を評価した。
さらに,様々なロールデザインと外部ツールを備えたllmベースのマルチエージェント協調フレームワークを導入し,仮説生成に関する能力を高める。
また,ChatGPTに基づく評価と人的評価の両方で生成された仮説を評価するために,総合的なレビューを通じて4つの指標を設計する。
実験と分析の結果,以下の結果が得られた。
1) LLMは, 実験文献から未学習で検証された仮説を驚くほど生成する。
2) 不確実性の増加は候補生成を促進し、ゼロショット仮説生成能力を高める可能性がある。
これらの知見は、新たな科学的発見の触媒としてLLMの可能性を強く支持し、さらなる探索を導く。
関連論文リスト
- Large language models surpass human experts in predicting neuroscience
results [61.42479286501852]
大きな言語モデル(LLM)は、人間の専門家よりも新しい結果を予測する。
BrainBenchは神経科学の結果を予測するためのベンチマークだ。
我々のアプローチは神経科学に特有ではなく、他の知識集約的な取り組みに伝達可能である。
論文 参考訳(メタデータ) (2024-03-04T15:27:59Z) - Scientific Large Language Models: A Survey on Biological & Chemical
Domains [45.873156812250514]
大規模言語モデル(LLM)は、自然言語理解の強化において、変革的な力として現れてきた。
LLMの応用は従来の言語境界を超えて、様々な科学分野で開発された専門的な言語システムを含んでいる。
AI for Science(AI for Science)のコミュニティで急成長している分野として、科学LLMは包括的な探査を義務付けている。
論文 参考訳(メタデータ) (2024-01-26T05:33:34Z) - SciGLM: Training Scientific Language Models with Self-Reflective
Instruction Annotation and Tuning [60.14510984576027]
SciGLMは、大学レベルの科学的推論を行うことができる科学言語モデルのスイートである。
本研究では, 自己回帰的指示アノテーションの枠組みを適用し, 難解な科学的問題に対する段階的推論を生成する。
言語モデルのChatGLMをSciInstructで微調整し、科学的および数学的推論能力を向上した。
論文 参考訳(メタデータ) (2024-01-15T20:22:21Z) - Empirical evaluation of Uncertainty Quantification in
Retrieval-Augmented Language Models for Science [0.0]
本研究では,科学知識を事前学習・検索データとして組み込んだ場合,不確実性スコアがどう変化するかを検討する。
我々は,検索データが予測生成に自信を持つ傾向にあるため,科学的知識に精通した既存のALMを観察する。
また、ALMは予測を過信しており、正確な予測よりも不正確な予測を確実にしていることもわかりました。
論文 参考訳(メタデータ) (2023-11-15T20:42:11Z) - Exploring the Cognitive Knowledge Structure of Large Language Models: An
Educational Diagnostic Assessment Approach [50.125704610228254]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。
近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。
ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
論文 参考訳(メタデータ) (2023-10-12T09:55:45Z) - Can Large Language Models Discern Evidence for Scientific Hypotheses?
Case Studies in the Social Sciences [4.49395656856181]
強い仮説は、既存の証拠に基づく最良の推理であり、関連する文献の包括的な見解によって知らされる。
毎年発行される科学論文の数が指数関数的に増加すると、ある仮説に関連する証拠の手作業による集約と合成は困難である。
我々は,社会科学における研究のコミュニティ主導のアノテーションを用いた科学的仮説の課題のための新しいデータセットを共有する。
論文 参考訳(メタデータ) (2023-09-07T04:15:17Z) - Large Language Models for Automated Open-domain Scientific Hypotheses
Discovery [53.40975887946237]
本研究は,社会科学の学術的仮説発見のための最初のNLPデータセットを提案する。
最近のトップ50の社会科学出版物と生のウェブコーパスで構成されている。
最後の目標は、有効で斬新で有用な科学的仮説を自動的に生成するシステムを作ることだ。
論文 参考訳(メタデータ) (2023-09-06T05:19:41Z) - SciBench: Evaluating College-Level Scientific Problem-Solving Abilities
of Large Language Models [72.92461995173201]
拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。
SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。
その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
論文 参考訳(メタデータ) (2023-07-20T07:01:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。