論文の概要: SciDFM: A Large Language Model with Mixture-of-Experts for Science
- arxiv url: http://arxiv.org/abs/2409.18412v2
- Date: Thu, 7 Nov 2024 05:38:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 19:50:01.741257
- Title: SciDFM: A Large Language Model with Mixture-of-Experts for Science
- Title（参考訳）: SciDFM:科学のためのミックス・オブ・エクササイズを持つ大規模言語モデル
- Authors: Liangtai Sun, Danyu Luo, Da Ma, Zihan Zhao, Baocai Chen, Zhennan Shen, Su Zhu, Lu Chen, Xin Chen, Kai Yu,
- Abstract要約: 我々は,SciDFMを紹介した。SciDFMは,スクラッチから訓練され,大学レベルの科学的推論を行うことができる。
ドメイン固有のデータベースのデータだけでなく、さまざまな分野の科学論文や書籍を含む大規模学習コーパスを収集する。
SciDFMはSciEvalやSciQなどの一般的な科学的ベンチマークにおいて高い性能を示し、類似サイズのモデル間のドメイン固有ベンチマークにおいてSOTA性能に達することを示す。
- 参考スコア（独自算出の注目度）: 18.748699390397363
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, there has been a significant upsurge of interest in leveraging large language models (LLMs) to assist scientific discovery. However, most LLMs only focus on general science, while they lack domain-specific knowledge, such as chemical molecules and amino acid sequences. To bridge these gaps, we introduce SciDFM, a mixture-of-experts LLM, which is trained from scratch and is able to conduct college-level scientific reasoning and understand molecules and amino acid sequences. We collect a large-scale training corpus containing numerous scientific papers and books from different disciplines as well as data from domain-specific databases. We further fine-tune the pre-trained model on lots of instruction data to improve performances on downstream benchmarks. From experiment results, we show that SciDFM achieves strong performance on general scientific benchmarks such as SciEval and SciQ, and it reaches a SOTA performance on domain-specific benchmarks among models of similar size. We further analyze the expert layers and show that the results of expert selection vary with data from different disciplines. To benefit the broader research community, we open-source SciDFM at https://huggingface.co/OpenDFM/SciDFM-MoE-A5.6B-v1.0.
- Abstract（参考訳）: 近年,科学的な発見を支援するために大規模言語モデル(LLM)を活用することへの関心が高まっている。
しかし、ほとんどのLSMは一般科学にのみ焦点をあてるが、化学分子やアミノ酸配列のようなドメイン固有の知識は欠如している。
これらのギャップを埋めるために、私たちはSciDFMを紹介します。これは、スクラッチから訓練され、大学レベルの科学的推論を行い、分子やアミノ酸配列を理解することができます。
ドメイン固有のデータベースのデータだけでなく、さまざまな分野の科学論文や書籍を含む大規模学習コーパスを収集する。
ダウンストリームベンチマークの性能を改善するために,多くの命令データに対して事前学習したモデルをさらに微調整する。
実験結果から,SciDFMはSciEvalやSciQなどの一般的な科学的ベンチマークにおいて高い性能を示し,類似サイズのモデル間のドメイン固有ベンチマークにおいてSOTA性能に達することを示す。
さらに、専門家層を分析し、専門家選択の結果が異なる分野のデータによって異なることを示す。
より広範な研究コミュニティのために、私たちはhttps://huggingface.co/OpenDFM/SciDFM-MoE-A5.6B-v1.0でSciDFMをオープンソース化しました。
関連論文リスト
- MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。
2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。
タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
論文 参考訳（メタデータ） (2024-07-06T00:40:53Z) - A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。
我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
論文 参考訳（メタデータ） (2024-06-16T08:03:24Z) - SciKnowEval: Evaluating Multi-level Scientific Knowledge of Large Language Models [35.98892300665275]
SciKnowEvalベンチマーク(SciKnowEval benchmark)は,5つの科学的知識の段階にわたる大規模言語モデル(LLM)を評価するフレームワークである。
これらのレベルは、記憶、理解、推論、識別、応用を含むLLMにおける科学知識の幅と深さを評価することを目的としている。
ゼロショットと少数ショットのプロンプト戦略を用いて、26の高度なオープンソースおよびプロプライエタリなLCMをベンチマークした。
論文 参考訳（メタデータ） (2024-06-13T13:27:52Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。
SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
論文 参考訳（メタデータ） (2024-06-10T21:22:08Z) - INDUS: Effective and Efficient Language Models for Scientific Applications [8.653859684720231]
言語モデル(LLM)は、自然言語処理(NLP)タスクにおいて顕著な結果を示した。
我々は、地球科学、生物学、物理学、生物物理学、惑星科学、天体物理学の密接に関連する分野に合わせた総合的なLLMスイートであるINDUSを開発した。
本稿では,RoBERTa(汎用)とSCIBERT(ドメイン固有)の両方のエンコーダにおいて,新たなタスクや関心領域における既存のタスクよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-05-17T12:15:07Z) - SciFIBench: Benchmarking Large Multimodal Models for Scientific Figure Interpretation [50.061029816288936]
SciFIBenchは、2000の質問を8つのカテゴリに分けた科学的図形解釈ベンチマークである。
質問はarXiv紙のフィギュアとキャプションからキュレートされ、相手のフィルターを使ってハードネガティブを見つけ、品質管理のための人間による検証を行う。
我々はSciFIBench上で28LMMを評価し、これは挑戦的なベンチマークであることが判明した。
論文 参考訳（メタデータ） (2024-05-14T17:54:17Z) - MSciNLI: A Diverse Benchmark for Scientific Natural Language Inference [65.37685198688538]
本稿では,5つの科学領域から抽出した132,320の文対を含むデータセットであるMSciNLIについて述べる。
我々は、微調整事前学習言語モデル(PLM)とLarge Language Model(LLM)によるMSciNLIの強力なベースラインを確立する。
ドメインシフトは、データセット内の異なるドメインの多様な特性を示す科学的なNLIモデルの性能を低下させることを示す。
論文 参考訳（メタデータ） (2024-04-11T18:12:12Z) - SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models [57.96527452844273]
我々はSciInstructを紹介した。SciInstructは、大学レベルの科学的推論が可能な科学言語モデルを訓練するための科学指導スイートである。
我々は、物理学、化学、数学、公式な証明を含む多種多様な高品質なデータセットをキュレートした。
SciInstructの有効性を検証するため、SciInstruct、すなわちChatGLM3(6Bと32B)、Llama3-8B-Instruct、Mistral-7B: MetaMathを用いて言語モデルを微調整した。
論文 参考訳（メタデータ） (2024-01-15T20:22:21Z) - SciEval: A Multi-Level Large Language Model Evaluation Benchmark for Scientific Research [11.816426823341134]
これらの問題に対処するための総合的・多分野評価ベンチマークSciEvalを提案する。
ブルームの分類に基づいて、SciEvalは科学的研究能力を体系的に評価する4つの次元をカバーしている。
主観的質問も主観的質問もSciEvalに含まれる。
論文 参考訳（メタデータ） (2023-08-25T03:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。