論文の概要: Large Language Models for Automated Open-domain Scientific Hypotheses
Discovery
- arxiv url: http://arxiv.org/abs/2309.02726v2
- Date: Fri, 16 Feb 2024 14:26:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 20:31:34.368368
- Title: Large Language Models for Automated Open-domain Scientific Hypotheses
Discovery
- Title(参考訳): オープンドメイン科学仮説発見のための大規模言語モデル
- Authors: Zonglin Yang, Xinya Du, Junxian Li, Jie Zheng, Soujanya Poria, Erik
Cambria
- Abstract要約: 本研究は,社会科学の学術的仮説発見のための最初のNLPデータセットを提案する。
最近のトップ50の社会科学出版物と生のウェブコーパスで構成されている。
最後の目標は、有効で斬新で有用な科学的仮説を自動的に生成するシステムを作ることだ。
- 参考スコア(独自算出の注目度): 53.40975887946237
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hypothetical induction is recognized as the main reasoning type when
scientists make observations about the world and try to propose hypotheses to
explain those observations. Past research on hypothetical induction is under a
constrained setting: (1) the observation annotations in the dataset are
carefully manually handpicked sentences (resulting in a close-domain setting);
and (2) the ground truth hypotheses are mostly commonsense knowledge, making
the task less challenging. In this work, we tackle these problems by proposing
the first NLP dataset for social science academic hypotheses discovery,
consisting of 50 recent top social science publications; and a raw web corpus
that contains enough information to make it possible to develop all the
research hypotheses in the 50 papers. The final goal is to create systems that
automatically generate valid, novel, and helpful scientific hypotheses, given
only a pile of raw web corpus. Different from the previous settings, the new
dataset requires (1) using open-domain data (raw web corpus) as observations;
and (2) proposing hypotheses even new to humanity. A multi-module framework is
developed for the task, as well as three different feedback mechanisms that
empirically show performance gain over the base framework. Finally, our
framework exhibits superior performance in terms of both GPT-4 based evaluation
and expert-based evaluation.To the best of our knowledge, this is the first
work showing that LLMs are able to generate novel ("not existing in the
literature") and valid ("reflecting reality") scientific hypotheses.
- Abstract(参考訳): 仮説的帰納は、科学者が世界を観察し、それらの観察を説明する仮説を提案しようとするときに、主要な推論タイプとして認識される。
過去の仮説的帰納法の研究は、(1)データセットにおける観察的注釈は手動で選択した文(近接ドメイン設定で記述)であり、(2)基礎的真理仮説は、ほとんど常識的な知識であり、課題の難易度を低下させる。
本稿では,最近の50の社会科学出版物からなる社会科学学術的仮説発見のための最初のnlpデータセットと,研究仮説を50の論文で開発可能な十分な情報を含む生のウェブコーパスを提案することで,これらの課題に取り組む。
最後のゴールは、生のウェブコーパスの山だけで、有効で斬新で有用な科学的仮説を自動的に生成するシステムを作ることです。
以前の設定とは異なり、新しいデータセットは(1)観察としてopen-domain data(raw web corpus)を使用する必要があり、(2)人間にさらに新しい仮説を提案する。
タスク用にマルチモジュールフレームワークが開発され、ベースフレームワークのパフォーマンス向上を実証的に示す3つのフィードバックメカニズムが開発されている。
最後に,本フレームワークは,gpt-4に基づく評価と専門家による評価の両方において優れた性能を示す。我々の知る限りでは,llmが「文学に存在しない」かつ「現実を反映する」科学的仮説を生成することができることを示す最初の研究である。
関連論文リスト
- SciGLM: Training Scientific Language Models with Self-Reflective
Instruction Annotation and Tuning [60.14510984576027]
SciGLMは、大学レベルの科学的推論を行うことができる科学言語モデルのスイートである。
本研究では, 自己回帰的指示アノテーションの枠組みを適用し, 難解な科学的問題に対する段階的推論を生成する。
言語モデルのChatGLMをSciInstructで微調整し、科学的および数学的推論能力を向上した。
論文 参考訳(メタデータ) (2024-01-15T20:22:21Z) - Large Language Models are Zero Shot Hypothesis Proposers [17.612235393984744]
大規模言語モデル(LLM)は、情報障壁を断ち切ることを約束する、グローバルかつ学際的な知識の豊富なものである。
バイオメディカル文献から背景知識と仮説ペアからなるデータセットを構築した。
ゼロショット, 少数ショット, 微調整設定において, 最上位モデルの仮説生成能力を評価する。
論文 参考訳(メタデータ) (2023-11-10T10:03:49Z) - Can Large Language Models Discern Evidence for Scientific Hypotheses?
Case Studies in the Social Sciences [4.49395656856181]
強い仮説は、既存の証拠に基づく最良の推理であり、関連する文献の包括的な見解によって知らされる。
毎年発行される科学論文の数が指数関数的に増加すると、ある仮説に関連する証拠の手作業による集約と合成は困難である。
我々は,社会科学における研究のコミュニティ主導のアノテーションを用いた科学的仮説の課題のための新しいデータセットを共有する。
論文 参考訳(メタデータ) (2023-09-07T04:15:17Z) - SciMON: Scientific Inspiration Machines Optimized for Novelty [74.78803157606083]
文献に基づく新たな科学的方向を生成するために,ニューラルランゲージモデルを探索し,拡張する。
モデルが入力背景コンテキストとして使用される新しい設定で、劇的な出発をとっています。
本稿では,過去の科学的論文から「吸入」を抽出するモデリングフレームワークであるSciMONを紹介する。
論文 参考訳(メタデータ) (2023-05-23T17:12:08Z) - SciFact-Open: Towards open-domain scientific claim verification [61.288725621156864]
本稿では,科学的クレーム検証システムの性能評価を目的とした新しいテストコレクションであるSciFact-Openを提案する。
我々は、4つの最先端の科学的クレーム検証モデルの上位予測をプールし、注釈付けすることで、科学的クレームの証拠を収集する。
その結果,SciFact-Openへの一般化に苦慮する小形コーパス上で開発されたシステムは,少なくとも15F1の性能低下を示すことがわかった。
論文 参考訳(メタデータ) (2022-10-25T05:45:00Z) - R$^2$F: A General Retrieval, Reading and Fusion Framework for
Document-level Natural Language Inference [29.520857954199904]
文書レベルの自然言語推論(DOCNLI)は、自然言語処理における新しい課題である。
我々は、Retrieval, Reading and Fusion (R2F)フレームワークと呼ばれる一般的なソリューションと、新しい設定を確立する。
実験結果から,R2Fフレームワークは最先端の性能を得ることができ,多種多様なエビデンス検索手法に対して堅牢であることがわかった。
論文 参考訳(メタデータ) (2022-10-22T02:02:35Z) - AI Research Associate for Early-Stage Scientific Discovery [1.6861004263551447]
人工知能(AI)は科学活動に何十年も使われ続けている。
我々は、最小バイアスの物理に基づくモデリングに基づく、初期段階の科学的発見のためのAI研究アソシエイトを提案する。
論文 参考訳(メタデータ) (2022-02-02T17:05:52Z) - L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。
新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。
ARTデータセットの実験は、公開リーダボードの最先端に到達します。
論文 参考訳(メタデータ) (2020-05-22T15:01:23Z) - ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine
Reading Comprehension [53.037401638264235]
我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。
評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
論文 参考訳(メタデータ) (2019-12-29T07:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。