Fugu-MT 論文翻訳(概要): SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding

論文の概要: SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding

arxiv url: http://arxiv.org/abs/2408.15545v2
Date: Fri, 30 Aug 2024 06:42:36 GMT
ステータス: 処理完了
システム内更新日: 2024-09-02 10:49:44.068025
Title: SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding
Title（参考訳）: SciLitLLM:科学文献理解のためのLLMの適応方法
Authors: Sihang Li, Jin Huang, Jiaxi Zhuang, Yaorui Shi, Xiaochen Cai, Mingjun Xu, Xiang Wang, Linfeng Zhang, Guolin Ke, Hengxing Cai,
Abstract要約: 大言語モデルの成功にもかかわらず、科学文献理解の課題に直面している。連続事前学習(CPT)と教師付き微調整(SFT)を統合したハイブリッド戦略を提案する。我々は科学文献理解に特化したLLMスイートSciLitLLMを提案する。
参考スコア（独自算出の注目度）: 22.131371019641417
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Scientific literature understanding is crucial for extracting targeted information and garnering insights, thereby significantly advancing scientific discovery. Despite the remarkable success of Large Language Models (LLMs), they face challenges in scientific literature understanding, primarily due to (1) a lack of scientific knowledge and (2) unfamiliarity with specialized scientific tasks. To develop an LLM specialized in scientific literature understanding, we propose a hybrid strategy that integrates continual pre-training (CPT) and supervised fine-tuning (SFT), to simultaneously infuse scientific domain knowledge and enhance instruction-following capabilities for domain-specific tasks.cIn this process, we identify two key challenges: (1) constructing high-quality CPT corpora, and (2) generating diverse SFT instructions. We address these challenges through a meticulous pipeline, including PDF text extraction, parsing content error correction, quality filtering, and synthetic instruction creation. Applying this strategy, we present a suite of LLMs: SciLitLLM, specialized in scientific literature understanding. These models demonstrate promising performance on scientific literature understanding benchmarks. Our contributions are threefold: (1) We present an effective framework that integrates CPT and SFT to adapt LLMs to scientific literature understanding, which can also be easily adapted to other domains. (2) We propose an LLM-based synthesis method to generate diverse and high-quality scientific instructions, resulting in a new instruction set -- SciLitIns -- for supervised fine-tuning in less-represented scientific domains. (3) SciLitLLM achieves promising performance improvements on scientific literature understanding benchmarks.
Abstract（参考訳）: 科学的文献の理解は、対象とする情報を抽出し、洞察を得るために不可欠であり、科学的な発見を著しく前進させる。 LLM(Large Language Models)の顕著な成功にもかかわらず、第一に科学的知識の欠如と、第二に専門的な科学的タスクに精通していないことによる科学文献理解の課題に直面している。本研究では,科学文献理解に特化したLLMを開発するために,CPT(Continuous Pre-Turning)とSFT(教師付き微調整)を統合したハイブリッド戦略を提案し,科学的ドメイン知識を同時に注入し,ドメイン固有のタスクの指示追従能力を高める。我々は、PDFテキスト抽出、コンテンツエラー訂正のパース、品質フィルタリング、合成命令生成など、微妙なパイプラインを通じてこれらの課題に対処する。この戦略を応用して、科学文献理解に特化したLLMのスイートSciLitLLMを提示する。これらのモデルは科学文献理解ベンチマークにおいて有望な性能を示す。 1) CPT と SFT を統合し,科学文献理解に LLM を適用し,他の領域にも容易に適用可能な効果的なフレームワークを提案する。 2) LLMに基づく多種多様な科学的命令を生成するための合成法を提案し, より表現の少ない科学領域における微調整のための新しい命令セットであるSciLitInsを提案する。 (3)SciLitLLMは,学術文献理解ベンチマークにおいて有望な性能向上を実現している。

関連論文リスト

Improving Scientific Hypothesis Generation with Knowledge Grounded Large Language Models [20.648157071328807]
大規模言語モデル(LLM)は、既存の知識を分析することによって、新しい研究の方向性を特定することができる。 LLMは幻覚を発生させる傾向がある。我々は,知識グラフから外部構造的知識を統合することで,LLM仮説の生成を促進するシステムKG-CoIを提案する。
論文参考訳（メタデータ） (2024-11-04T18:50:00Z)
A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
論文参考訳（メタデータ） (2024-06-16T08:03:24Z)
SciKnowEval: Evaluating Multi-level Scientific Knowledge of Large Language Models [35.98892300665275]
SciKnowEvalベンチマーク(SciKnowEval benchmark)は,5つの科学的知識の段階にわたる大規模言語モデル(LLM)を評価するフレームワークである。これらのレベルは、記憶、理解、推論、識別、応用を含むLLMにおける科学知識の幅と深さを評価することを目的としている。ゼロショットと少数ショットのプロンプト戦略を用いて、26の高度なオープンソースおよびプロプライエタリなLCMをベンチマークした。
論文参考訳（メタデータ） (2024-06-13T13:27:52Z)
SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
論文参考訳（メタデータ） (2024-06-10T21:22:08Z)
LLM and Simulation as Bilevel Optimizers: A New Paradigm to Advance Physical Scientific Discovery [141.39722070734737]
本稿では,大規模言語モデルの知識駆動型抽象推論能力をシミュレーションの計算力で強化することを提案する。本稿では,2段階最適化フレームワークであるSGA(Scientific Generative Agent)を紹介する。法発見と分子設計における枠組みの有効性を実証するための実験を行った。
論文参考訳（メタデータ） (2024-05-16T03:04:10Z)
Uni-SMART: Universal Science Multimodal Analysis and Research Transformer [22.90687836544612]
bfUni-textは科学文献の深い理解のために設計された革新的モデルである。ユニテキストは、他のテキスト中心のLLMよりも優れたパフォーマンスを示す。我々の探索は、特許侵害検出やグラフのニュアンス解析など、実用的な応用にまで及んでいる。
論文参考訳（メタデータ） (2024-03-15T13:43:47Z)
Scientific Large Language Models: A Survey on Biological & Chemical Domains [47.97810890521825]
大規模言語モデル(LLM)は、自然言語理解の強化において、変革的な力として現れてきた。 LLMの応用は従来の言語境界を超えて、様々な科学分野で開発された専門的な言語システムを含んでいる。 AI for Science(AI for Science)のコミュニティで急成長している分野として、科学LLMは包括的な探査を義務付けている。
論文参考訳（メタデータ） (2024-01-26T05:33:34Z)
SciGLM: Training Scientific Language Models with Self-Reflective Instruction Annotation and Tuning [60.14510984576027]
SciGLMは、大学レベルの科学的推論を行うことができる科学言語モデルのスイートである。本研究では, 自己回帰的指示アノテーションの枠組みを適用し, 難解な科学的問題に対する段階的推論を生成する。言語モデルのChatGLMをSciInstructで微調整し、科学的および数学的推論能力を向上した。
論文参考訳（メタデータ） (2024-01-15T20:22:21Z)
An Interdisciplinary Outlook on Large Language Models for Scientific Research [3.4108358650013573]
本稿では,異なる学問分野におけるLarge Language Models(LLM)の機能と制約について述べる。本稿では, LLM が学術調査の強化を図り, 大量の出版物を要約することで, 文献レビューの促進などの具体的な事例を提示する。 LLMが直面する課題には、広範囲で偏見のあるデータセットへの依存や、それらの使用から生じる潜在的な倫理的ジレンマが含まれる。
論文参考訳（メタデータ） (2023-11-03T19:41:09Z)
SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models [70.5763210869525]
拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。 SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
論文参考訳（メタデータ） (2023-07-20T07:01:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。