論文の概要: Galactica: A Large Language Model for Science

• arxiv url: http://arxiv.org/abs/2211.09085v1
• Date: Wed, 16 Nov 2022 18:06:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 14:03:24.552133
• Title: Galactica: A Large Language Model for Science
• Title（参考訳）: Galactica: 科学のための大規模言語モデル
• Authors: Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony Hartshorn, Elvis Saravia, Andrew Poulton, Viktor Kerkez, Robert Stojnic
• Abstract要約: Galacticaは、科学的な知識を保存、組み合わせ、推論できる大きな言語モデルである。 我々は、論文、参考資料、知識基盤、その他多くの情報源の大規模な科学的コーパスを訓練する。 方程式のような技術知識プローブでは、Galacticaは最新のGPT-3よりも68.2%、49.0%である。
• 参考スコア（独自算出の注目度）: 6.83797542854484
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Information overload is a major obstacle to scientific progress. The explosive growth in scientific literature and data has made it ever harder to discover useful insights in a large mass of information. Today scientific knowledge is accessed through search engines, but they are unable to organize scientific knowledge alone. In this paper we introduce Galactica: a large language model that can store, combine and reason about scientific knowledge. We train on a large scientific corpus of papers, reference material, knowledge bases and many other sources. We outperform existing models on a range of scientific tasks. On technical knowledge probes such as LaTeX equations, Galactica outperforms the latest GPT-3 by 68.2% versus 49.0%. Galactica also performs well on reasoning, outperforming Chinchilla on mathematical MMLU by 41.3% to 35.7%, and PaLM 540B on MATH with a score of 20.4% versus 8.8%. It also sets a new state-of-the-art on downstream tasks such as PubMedQA and MedMCQA dev of 77.6% and 52.9%. And despite not being trained on a general corpus, Galactica outperforms BLOOM and OPT-175B on BIG-bench. We believe these results demonstrate the potential for language models as a new interface for science. We open source the model for the benefit of the scientific community.
• Abstract（参考訳）: 情報過剰は科学的進歩の大きな障害である。 科学文献やデータの爆発的な成長は、大量の情報から有用な洞察を見つけるのをますます困難にしている。 現在、科学知識は検索エンジンを通じてアクセスされているが、科学知識のみを整理することはできない。 本稿では,科学知識の保存,組み合わせ,推論が可能な大規模言語モデルであるGalacticaを紹介する。 我々は、論文、参考資料、知識基盤、その他多くの情報源の大規模な科学的コーパスを訓練する。 私たちは既存のモデルを様々な科学的タスクで上回っている。 LaTeX方程式のような技術知識プローブでは、Galacticaは最新のGPT-3よりも68.2%高い49.0%である。 数学的なMMLUではチンチラを41.3%から35.7%、MATHではPaLM 540Bを20.4%対8.8%で上回っている。 また、PubMedQAやMedMCQAのような下流タスクで77.6%、52.9%の新しい最先端タスクも設定している。 一般のコーパスで訓練を受けていないにもかかわらず、GalacticaはBIGベンチでBLOOMとOPT-175Bを上回っている。 これらの結果は,新たな科学インターフェースとしての言語モデルの可能性を示している。 我々は、科学コミュニティの利益のためのモデルをオープンソースにしています。

関連論文リスト

• SciDFM: A Large Language Model with Mixture-of-Experts for Science [18.748699390397363]
  我々は,SciDFMを紹介した。SciDFMは,スクラッチから訓練され,大学レベルの科学的推論を行うことができる。 ドメイン固有のデータベースのデータだけでなく、さまざまな分野の科学論文や書籍を含む大規模学習コーパスを収集する。 SciDFMはSciEvalやSciQなどの一般的な科学的ベンチマークにおいて高い性能を示し、類似サイズのモデル間のドメイン固有ベンチマークにおいてSOTA性能に達することを示す。
  論文  参考訳（メタデータ） (2024-09-27T03:00:29Z)
• A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
  大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。 我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
  論文  参考訳（メタデータ） (2024-06-16T08:03:24Z)
• Large language models surpass human experts in predicting neuroscience results [60.26891446026707]
  大きな言語モデル(LLM)は、人間の専門家よりも新しい結果を予測する。 BrainBenchは神経科学の結果を予測するためのベンチマークだ。 我々のアプローチは神経科学に特有ではなく、他の知識集約的な取り組みに伝達可能である。
  論文  参考訳（メタデータ） (2024-03-04T15:27:59Z)
• SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models [57.96527452844273]
  我々はSciInstructを紹介した。SciInstructは、大学レベルの科学的推論が可能な科学言語モデルを訓練するための科学指導スイートである。 我々は、物理学、化学、数学、公式な証明を含む多種多様な高品質なデータセットをキュレートした。 SciInstructの有効性を検証するため、SciInstruct、すなわちChatGLM3(6Bと32B)、Llama3-8B-Instruct、Mistral-7B: MetaMathを用いて言語モデルを微調整した。
  論文  参考訳（メタデータ） (2024-01-15T20:22:21Z)
• GeoGalactica: A Scientific Large Language Model in Geoscience [95.15911521220052]
  大規模言語モデル(LLM)は、自然言語処理(NLP)における幅広いタスクを解く一般的な知識と能力で大きな成功を収めている。 我々は、LLMを地学に特化させ、さらに、地学の膨大なテキストでモデルを事前訓練し、また、カスタム収集した指導チューニングデータセットで得られたモデルを教師付き微調整(SFT)する。 我々はGeoGalacticaを65億のトークンを含む地球科学関連のテキストコーパスで訓練し、最大の地球科学固有のテキストコーパスとして保存する。 次に、100万対の命令チューニングでモデルを微調整する。
  論文  参考訳（メタデータ） (2023-12-31T09:22:54Z)
• DARWIN Series: Domain Specific Large Language Models for Natural Science [20.864698325126735]
  本稿では,物理,化学,物質科学を中心に,自然科学に適したLLMのシリーズであるDARWINを紹介する。 我々は6万以上の命令データポイントを用いてモデルを微調整し、事実の正しさを強調した。 DARWINシリーズは、様々な科学的タスクに関する最先端の結果を達成するだけでなく、クローズドソースAIモデルへの依存を減少させる。
  論文  参考訳（メタデータ） (2023-08-25T01:40:48Z)
• Modeling Information Change in Science Communication with Semantically Matched Paraphrases [50.67030449927206]
  SPICEDは、情報変化の度合いに注釈を付けた科学的な発見の最初のパラフレーズデータセットである。 SPICEDには、ニュース記事、ソーシャルメディアの議論、オリジナル論文の全文から抽出された6000の科学的発見ペアが含まれている。 SPICEDで訓練されたモデルは、実世界の科学的主張の事実チェックのための証拠検索において下流のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2022-10-24T07:44:38Z)
• GT4SD: Generative Toolkit for Scientific Discovery [17.423712005625006]
  GT4SDは、科学者が科学的発見において仮説生成のために最先端の生成モデルを訓練し、使用することができるオープンソースのライブラリである。 分子の発見や、標的タンパク質、オーミックプロファイル、足場距離、結合エネルギーなどの特性に基づく設計など、物質科学や薬物発見にまたがる様々な用途をサポートしている。
  論文  参考訳（メタデータ） (2022-07-08T14:28:13Z)
• Fact or Fiction: Verifying Scientific Claims [53.29101835904273]
  本稿では,研究文献から,REFUTESやREFUTESが与えられた科学的主張であることを示す証拠を含む抄録を抽出する新たな課題である,科学的クレーム検証を紹介する。 SciFactは、1.4Kの専門家による科学的主張と、ラベルや合理性に注釈を付けたエビデンスを含む抽象概念を組み合わせたデータセットである。 このシステムは,CORD-19コーパスの証拠を同定することにより,新型コロナウイルス関連クレームを検証可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-30T17:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。