論文の概要: A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery
- arxiv url: http://arxiv.org/abs/2406.10833v2
- Date: Mon, 26 Aug 2024 08:47:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 23:07:37.719178
- Title: A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery
- Title（参考訳）: 科学的大規模言語モデルの包括的調査と科学的発見への応用
- Authors: Yu Zhang, Xiusi Chen, Bowen Jin, Sheng Wang, Shuiwang Ji, Wei Wang, Jiawei Han,
- Abstract要約: 大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。
我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
- 参考スコア（独自算出の注目度）: 68.48094108571432
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many scientific fields, large language models (LLMs) have revolutionized the way text and other modalities of data (e.g., molecules and proteins) are handled, achieving superior performance in various applications and augmenting the scientific discovery process. Nevertheless, previous surveys on scientific LLMs often concentrate on one or two fields or a single modality. In this paper, we aim to provide a more holistic view of the research landscape by unveiling cross-field and cross-modal connections between scientific LLMs regarding their architectures and pre-training techniques. To this end, we comprehensively survey over 250 scientific LLMs, discuss their commonalities and differences, as well as summarize pre-training datasets and evaluation tasks for each field and modality. Moreover, we investigate how LLMs have been deployed to benefit scientific discovery. Resources related to this survey are available at https://github.com/yuzhimanhua/Awesome-Scientific-Language-Models.
- Abstract（参考訳）: 多くの科学分野において、大規模言語モデル(LLM)は、テキストやその他のデータ(例えば分子やタンパク質)の処理方法に革命をもたらし、様々な応用において優れた性能を達成し、科学的発見プロセスを強化する。
それにもかかわらず、科学 LLM に関する以前の調査は、しばしば1つまたは2つの分野または1つのモダリティに集中していた。
本稿では,学術的なLLMのアーキテクチャと事前学習技術との関係を明らかにすることで,研究の展望をより包括的に把握することを目的としている。
この目的のために,250以上の科学LLMを総合的に調査し,それらの共通点と相違点について考察するとともに,各分野とモダリティに関する事前学習データセットと評価タスクを要約した。
さらに,LLMが科学的発見のためにどのように展開されているかを検討する。
この調査に関するリソースは、https://github.com/yuzhimanhua/Awesome-Scientific-Language-Modelsで公開されている。
関連論文リスト
- Reflections from the 2024 Large Language Model (LLM) Hackathon for Applications in Materials Science and Chemistry [68.72590517877455]
材料科学・化学分野における応用のための第二大言語モデル(LLM)ハッカソンの結果について述べる。
このイベントは、グローバルなハイブリッドな場所を巡って参加者が参加し、34チームが応募した。
提出は7つの主要なアプリケーション領域にまたがって行われ、アプリケーションのためのLLMの多種多様な実用性を実証した。
論文 参考訳（メタデータ） (2024-11-20T23:08:01Z) - What is the Role of Large Language Models in the Evolution of Astronomy Research? [0.0]
ChatGPTや他の最先端の大規模言語モデル(LLM)は、急速に複数のフィールドを変換している。
これらのモデルは、一般に広大なデータセットに基づいて訓練され、人間のようなテキスト生成能力を示す。
論文 参考訳（メタデータ） (2024-09-30T12:42:25Z) - Towards Efficient Large Language Models for Scientific Text: A Review [4.376712802685017]
大規模言語モデル(LLM)は、科学を含む様々な分野において複雑な情報を処理するための新しい時代を迎えている。
LLMのパワーのため、非常に高価な計算資源、大量のデータ、訓練時間が必要である。
近年、研究者は科学的LLMをより手頃な価格にするための様々な手法を提案している。
論文 参考訳（メタデータ） (2024-08-20T10:57:34Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。
SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
論文 参考訳（メタデータ） (2024-06-10T21:22:08Z) - MASSW: A New Dataset and Benchmark Tasks for AI-Assisted Scientific Workflows [58.56005277371235]
我々は,Multi-Aspect Summarization of ScientificAspectsに関する総合テキストデータセットであるMASSWを紹介する。
MASSWには過去50年間にわたる17の主要なコンピュータサイエンスカンファレンスから152,000以上の査読論文が含まれている。
我々は、この新しいデータセットを用いてベンチマーク可能な、複数の新しい機械学習タスクを通じて、MASSWの有用性を実証する。
論文 参考訳（メタデータ） (2024-06-10T15:19:09Z) - Mapping the Increasing Use of LLMs in Scientific Papers [99.67983375899719]
2020年1月から2024年2月にかけて、arXiv、bioRxiv、Natureのポートフォリオジャーナルで950,965の論文をまとめて、体系的で大規模な分析を行った。
計算機科学の論文では, LLMの使用が着実に増加し, 最大, 最速の成長が観察された。
論文 参考訳（メタデータ） (2024-04-01T17:45:15Z) - Uni-SMART: Universal Science Multimodal Analysis and Research Transformer [22.90687836544612]
bfUni-textは科学文献の深い理解のために設計された革新的モデルである。
ユニテキストは、他のテキスト中心のLLMよりも優れたパフォーマンスを示す。
我々の探索は、特許侵害検出やグラフのニュアンス解析など、実用的な応用にまで及んでいる。
論文 参考訳（メタデータ） (2024-03-15T13:43:47Z) - A Survey of Pre-trained Language Models for Processing Scientific Text [26.986805626077892]
科学テキストを処理するための言語モデル(LM)の数が増加している。
この研究はSciLMの包括的なレビューを提供し、異なるドメイン、タスク、データセット間での有効性の分析を含む。
論文 参考訳（メタデータ） (2024-01-31T13:35:07Z) - Scientific Large Language Models: A Survey on Biological & Chemical Domains [47.97810890521825]
大規模言語モデル(LLM)は、自然言語理解の強化において、変革的な力として現れてきた。
LLMの応用は従来の言語境界を超えて、様々な科学分野で開発された専門的な言語システムを含んでいる。
AI for Science(AI for Science)のコミュニティで急成長している分野として、科学LLMは包括的な探査を義務付けている。
論文 参考訳（メタデータ） (2024-01-26T05:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。