論文の概要: Galactica: A Large Language Model for Science
- arxiv url: http://arxiv.org/abs/2211.09085v1
- Date: Wed, 16 Nov 2022 18:06:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 14:03:24.552133
- Title: Galactica: A Large Language Model for Science
- Title(参考訳): Galactica: 科学のための大規模言語モデル
- Authors: Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony
Hartshorn, Elvis Saravia, Andrew Poulton, Viktor Kerkez, Robert Stojnic
- Abstract要約: Galacticaは、科学的な知識を保存、組み合わせ、推論できる大きな言語モデルである。
我々は、論文、参考資料、知識基盤、その他多くの情報源の大規模な科学的コーパスを訓練する。
方程式のような技術知識プローブでは、Galacticaは最新のGPT-3よりも68.2%、49.0%である。
- 参考スコア(独自算出の注目度): 6.83797542854484
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Information overload is a major obstacle to scientific progress. The
explosive growth in scientific literature and data has made it ever harder to
discover useful insights in a large mass of information. Today scientific
knowledge is accessed through search engines, but they are unable to organize
scientific knowledge alone. In this paper we introduce Galactica: a large
language model that can store, combine and reason about scientific knowledge.
We train on a large scientific corpus of papers, reference material, knowledge
bases and many other sources. We outperform existing models on a range of
scientific tasks. On technical knowledge probes such as LaTeX equations,
Galactica outperforms the latest GPT-3 by 68.2% versus 49.0%. Galactica also
performs well on reasoning, outperforming Chinchilla on mathematical MMLU by
41.3% to 35.7%, and PaLM 540B on MATH with a score of 20.4% versus 8.8%. It
also sets a new state-of-the-art on downstream tasks such as PubMedQA and
MedMCQA dev of 77.6% and 52.9%. And despite not being trained on a general
corpus, Galactica outperforms BLOOM and OPT-175B on BIG-bench. We believe these
results demonstrate the potential for language models as a new interface for
science. We open source the model for the benefit of the scientific community.
- Abstract(参考訳): 情報過剰は科学的進歩の大きな障害である。
科学文献やデータの爆発的な成長は、大量の情報から有用な洞察を見つけるのをますます困難にしている。
現在、科学知識は検索エンジンを通じてアクセスされているが、科学知識のみを整理することはできない。
本稿では,科学知識の保存,組み合わせ,推論が可能な大規模言語モデルであるGalacticaを紹介する。
我々は、論文、参考資料、知識基盤、その他多くの情報源の大規模な科学的コーパスを訓練する。
私たちは既存のモデルを様々な科学的タスクで上回っている。
LaTeX方程式のような技術知識プローブでは、Galacticaは最新のGPT-3よりも68.2%高い49.0%である。
数学的なMMLUではチンチラを41.3%から35.7%、MATHではPaLM 540Bを20.4%対8.8%で上回っている。
また、PubMedQAやMedMCQAのような下流タスクで77.6%、52.9%の新しい最先端タスクも設定している。
一般のコーパスで訓練を受けていないにもかかわらず、GalacticaはBIGベンチでBLOOMとOPT-175Bを上回っている。
これらの結果は,新たな科学インターフェースとしての言語モデルの可能性を示している。
我々は、科学コミュニティの利益のためのモデルをオープンソースにしています。
関連論文リスト
- Large language models surpass human experts in predicting neuroscience
results [61.42479286501852]
大きな言語モデル(LLM)は、人間の専門家よりも新しい結果を予測する。
BrainBenchは神経科学の結果を予測するためのベンチマークだ。
我々のアプローチは神経科学に特有ではなく、他の知識集約的な取り組みに伝達可能である。
論文 参考訳(メタデータ) (2024-03-04T15:27:59Z) - SciGLM: Training Scientific Language Models with Self-Reflective
Instruction Annotation and Tuning [60.14510984576027]
SciGLMは、大学レベルの科学的推論を行うことができる科学言語モデルのスイートである。
本研究では, 自己回帰的指示アノテーションの枠組みを適用し, 難解な科学的問題に対する段階的推論を生成する。
言語モデルのChatGLMをSciInstructで微調整し、科学的および数学的推論能力を向上した。
論文 参考訳(メタデータ) (2024-01-15T20:22:21Z) - GeoGalactica: A Scientific Large Language Model in Geoscience [97.13432077667404]
大規模言語モデル(LLM)は、自然言語処理(NLP)における幅広いタスクを解く一般的な知識と能力で大きな成功を収めている。
我々は、LLMを地学に特化させ、さらに、地学の膨大なテキストでモデルを事前訓練し、また、カスタム収集した指導チューニングデータセットで得られたモデルを教師付き微調整(SFT)する。
我々の知る限りでは、地球科学領域における最大の言語モデルである。
地学関連テキストコーパス上でGeoGalacticaを訓練する。
論文 参考訳(メタデータ) (2023-12-31T09:22:54Z) - The Impact of Large Language Models on Scientific Discovery: a
Preliminary Study using GPT-4 [0.0]
本報告では,最先端の言語モデルであるGPT-4について述べる。
我々は, GPT-4の知識基盤, 科学的理解, 科学的数値計算能力, 様々な科学的予測能力を評価する。
論文 参考訳(メタデータ) (2023-11-13T14:26:12Z) - DARWIN Series: Domain Specific Large Language Models for Natural Science [20.864698325126735]
本稿では,物理,化学,物質科学を中心に,自然科学に適したLLMのシリーズであるDARWINを紹介する。
我々は6万以上の命令データポイントを用いてモデルを微調整し、事実の正しさを強調した。
DARWINシリーズは、様々な科学的タスクに関する最先端の結果を達成するだけでなく、クローズドソースAIモデルへの依存を減少させる。
論文 参考訳(メタデータ) (2023-08-25T01:40:48Z) - NeuroComparatives: Neuro-Symbolic Distillation of Comparative Knowledge [51.04681376353797]
GPT-4のような超大規模言語モデルの能力を大幅に向上させることで、比較知識獲得の課題について検討する。
本稿では,言語モデルから過剰に生成される知識蒸留のための新しいフレームワークであるNeuroComparativesを紹介する。
我々のフレームワークは1.74Mのエンティティペアに対して最大8.8Mのコーパスを生成します。
論文 参考訳(メタデータ) (2023-05-08T18:20:36Z) - Modeling Information Change in Science Communication with Semantically
Matched Paraphrases [50.67030449927206]
SPICEDは、情報変化の度合いに注釈を付けた科学的な発見の最初のパラフレーズデータセットである。
SPICEDには、ニュース記事、ソーシャルメディアの議論、オリジナル論文の全文から抽出された6000の科学的発見ペアが含まれている。
SPICEDで訓練されたモデルは、実世界の科学的主張の事実チェックのための証拠検索において下流のパフォーマンスを改善する。
論文 参考訳(メタデータ) (2022-10-24T07:44:38Z) - GT4SD: Generative Toolkit for Scientific Discovery [17.423712005625006]
GT4SDは、科学者が科学的発見において仮説生成のために最先端の生成モデルを訓練し、使用することができるオープンソースのライブラリである。
分子の発見や、標的タンパク質、オーミックプロファイル、足場距離、結合エネルギーなどの特性に基づく設計など、物質科学や薬物発見にまたがる様々な用途をサポートしている。
論文 参考訳(メタデータ) (2022-07-08T14:28:13Z) - Fact or Fiction: Verifying Scientific Claims [53.29101835904273]
本稿では,研究文献から,REFUTESやREFUTESが与えられた科学的主張であることを示す証拠を含む抄録を抽出する新たな課題である,科学的クレーム検証を紹介する。
SciFactは、1.4Kの専門家による科学的主張と、ラベルや合理性に注釈を付けたエビデンスを含む抽象概念を組み合わせたデータセットである。
このシステムは,CORD-19コーパスの証拠を同定することにより,新型コロナウイルス関連クレームを検証可能であることを示す。
論文 参考訳(メタデータ) (2020-04-30T17:22:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。