論文の概要: SciGLM: Training Scientific Language Models with Self-Reflective
Instruction Annotation and Tuning
- arxiv url: http://arxiv.org/abs/2401.07950v1
- Date: Mon, 15 Jan 2024 20:22:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 16:01:56.815334
- Title: SciGLM: Training Scientific Language Models with Self-Reflective
Instruction Annotation and Tuning
- Title（参考訳）: SciGLM:自己表現的指示アノテーションとチューニングによる科学言語モデルの訓練
- Authors: Dan Zhang and Ziniu Hu and Sining Zhoubian and Zhengxiao Du and Kaiyu
Yang and Zihan Wang and Yisong Yue and Yuxiao Dong and Jie Tang
- Abstract要約: LLM(Large Language Models)は、科学的な発見を支援することを約束している。
我々はSciGLMを紹介した。SciGLMは大学レベルの科学的推論を行うことができる科学言語モデルのスイートである。
より広い研究コミュニティの利益のために、私たちはSciInstruct、SciGLM、そして自己表現フレームワークと微調整コードをリリースします。
- 参考スコア（独自算出の注目度）: 60.14510984576027
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: \label{sec:abstract} Large Language Models (LLMs) have shown promise in
assisting scientific discovery. However, such applications are currently
limited by LLMs' deficiencies in understanding intricate scientific concepts,
deriving symbolic equations, and solving advanced numerical calculations. To
bridge these gaps, we introduce SciGLM, a suite of scientific language models
able to conduct college-level scientific reasoning. Central to our approach is
a novel self-reflective instruction annotation framework to address the data
scarcity challenge in the science domain. This framework leverages existing
LLMs to generate step-by-step reasoning for unlabelled scientific questions,
followed by a process of self-reflective critic-and-revise. Applying this
framework, we curated SciInstruct, a diverse and high-quality dataset
encompassing mathematics, physics, chemistry, and formal proofs. We fine-tuned
the ChatGLM family of language models with SciInstruct, enhancing their
capabilities in scientific and mathematical reasoning. Remarkably, SciGLM
consistently improves both the base model (ChatGLM3-6B-Base) and larger-scale
models (12B and 32B), without sacrificing the language understanding
capabilities of the base model. This makes SciGLM a suitable foundational model
to facilitate diverse scientific discovery tasks. For the benefit of the wider
research community, we release SciInstruct, SciGLM, alongside a self-reflective
framework and fine-tuning code at \url{https://github.com/THUDM/SciGLM}.
- Abstract（参考訳）: \label{sec:abstract} Large Language Models (LLMs) は科学的な発見を支援することを約束している。
しかしながら、そのような応用は、複雑な科学概念の理解、記号方程式の導出、高度な数値計算の解法におけるLLMの欠陥によって制限されている。
このギャップを埋めるために,大学レベルの科学的推論が可能な科学言語モデルスイートであるsciglmを紹介する。
私たちのアプローチの中心は、科学領域のデータ不足問題に対処するための、新しい自己回帰的な命令アノテーションフレームワークです。
このフレームワークは、既存のLCMを活用して、未解決の科学的問題に対するステップバイステップの推論を生成する。
このフレームワークを適用して、数学、物理学、化学、形式証明を含む多様で高品質なデータセットであるsciinstructをキュレートした。
言語モデルのChatGLMファミリをSciInstructで微調整し,科学的・数学的推論の能力を高めた。
注目すべきことに、SciGLMはベースモデルの言語理解能力を犠牲にすることなく、ベースモデル(ChatGLM3-6B-Base)と大規模モデル(12Bと32B)の両方を一貫して改善している。
これにより、SciGLMは多様な科学的発見タスクを促進するのに適した基礎モデルとなる。
より広い研究コミュニティの利益のために、私たちはSciInstruct、SciGLM、自己表現フレームワーク、そして \url{https://github.com/THUDM/SciGLM} で微調整コードをリリースします。
関連論文リスト
- Improving Scientific Hypothesis Generation with Knowledge Grounded Large Language Models [20.648157071328807]
大規模言語モデル(LLM)は、既存の知識を分析することによって、新しい研究の方向性を特定することができる。
LLMは幻覚を発生させる傾向がある。
我々は,知識グラフから外部構造的知識を統合することで,LLM仮説の生成を促進するシステムKG-CoIを提案する。
論文 参考訳（メタデータ） (2024-11-04T18:50:00Z) - A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。
我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
論文 参考訳（メタデータ） (2024-06-16T08:03:24Z) - SciKnowEval: Evaluating Multi-level Scientific Knowledge of Large Language Models [35.98892300665275]
SciKnowEvalベンチマーク(SciKnowEval benchmark)は,5つの科学的知識の段階にわたる大規模言語モデル(LLM)を評価するフレームワークである。
これらのレベルは、記憶、理解、推論、識別、応用を含むLLMにおける科学知識の幅と深さを評価することを目的としている。
ゼロショットと少数ショットのプロンプト戦略を用いて、26の高度なオープンソースおよびプロプライエタリなLCMをベンチマークした。
論文 参考訳（メタデータ） (2024-06-13T13:27:52Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。
SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
論文 参考訳（メタデータ） (2024-06-10T21:22:08Z) - LLM and Simulation as Bilevel Optimizers: A New Paradigm to Advance Physical Scientific Discovery [141.39722070734737]
本稿では,大規模言語モデルの知識駆動型抽象推論能力をシミュレーションの計算力で強化することを提案する。
本稿では,2段階最適化フレームワークであるSGA(Scientific Generative Agent)を紹介する。
法発見と分子設計における枠組みの有効性を実証するための実験を行った。
論文 参考訳（メタデータ） (2024-05-16T03:04:10Z) - A Survey on Self-Evolution of Large Language Models [116.54238664264928]
大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。
この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
論文 参考訳（メタデータ） (2024-04-22T17:43:23Z) - Scientific Large Language Models: A Survey on Biological & Chemical Domains [47.97810890521825]
大規模言語モデル(LLM)は、自然言語理解の強化において、変革的な力として現れてきた。
LLMの応用は従来の言語境界を超えて、様々な科学分野で開発された専門的な言語システムを含んでいる。
AI for Science(AI for Science)のコミュニティで急成長している分野として、科学LLMは包括的な探査を義務付けている。
論文 参考訳（メタデータ） (2024-01-26T05:33:34Z) - DARWIN Series: Domain Specific Large Language Models for Natural Science [20.864698325126735]
本稿では,物理,化学,物質科学を中心に,自然科学に適したLLMのシリーズであるDARWINを紹介する。
我々は6万以上の命令データポイントを用いてモデルを微調整し、事実の正しさを強調した。
DARWINシリーズは、様々な科学的タスクに関する最先端の結果を達成するだけでなく、クローズドソースAIモデルへの依存を減少させる。
論文 参考訳（メタデータ） (2023-08-25T01:40:48Z) - SCITUNE: Aligning Large Language Models with Scientific Multimodal
Instructions [0.7264378254137809]
本研究では,SciTuneを,LLMが科学的マルチモーダル命令に従う能力を向上させるためのチューニングフレームワークとして提示する。
提案手法をテストするために,人間による科学的指導チューニングデータセットを使用し,大規模マルチモーダルモデルLLaMA-SciTuneを訓練する。
マシン生成データのみで微調整されたモデルと比較して、LLaMA-SciTuneは平均的およびScienceQAベンチマーク上の多くのサブカテゴリで人のパフォーマンスを上回っている。
論文 参考訳（メタデータ） (2023-07-03T16:25:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。