論文の概要: SciGLM: Training Scientific Language Models with Self-Reflective
Instruction Annotation and Tuning
- arxiv url: http://arxiv.org/abs/2401.07950v2
- Date: Tue, 12 Mar 2024 18:34:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 17:58:42.563167
- Title: SciGLM: Training Scientific Language Models with Self-Reflective
Instruction Annotation and Tuning
- Title(参考訳): SciGLM:自己表現型科学言語モデルの学習
指示アノテーションとチューニング
- Authors: Dan Zhang and Ziniu Hu and Sining Zhoubian and Zhengxiao Du and Kaiyu
Yang and Zihan Wang and Yisong Yue and Yuxiao Dong and Jie Tang
- Abstract要約: SciGLMは、大学レベルの科学的推論を行うことができる科学言語モデルのスイートである。
本研究では, 自己回帰的指示アノテーションの枠組みを適用し, 難解な科学的問題に対する段階的推論を生成する。
言語モデルのChatGLMをSciInstructで微調整し、科学的および数学的推論能力を向上した。
- 参考スコア(独自算出の注目度): 60.14510984576027
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have shown promise in assisting scientific
discovery. However, such applications are currently limited by LLMs'
deficiencies in understanding intricate scientific concepts, deriving symbolic
equations, and solving advanced numerical calculations. To bridge these gaps,
we introduce SciGLM, a suite of scientific language models able to conduct
college-level scientific reasoning. Central to our approach is a novel
self-reflective instruction annotation framework to address the data scarcity
challenge in the science domain. This framework leverages existing LLMs to
generate step-by-step reasoning for unlabelled scientific questions, followed
by a process of self-reflective critic-and-revise. Applying this framework, we
curated SciInstruct, a diverse and high-quality dataset encompassing physics,
chemistry, math, and formal proofs. We fine-tuned the ChatGLM family of
language models with SciInstruct, enhancing their scientific and mathematical
reasoning capabilities. Remarkably, the SciGLM consistently improves both the
base model (ChatGLM3-6B-Base) by 4.87% and larger-scale models (32B) by 2.67%,
without sacrificing the language understanding capabilities of the base model.
This makes SciGLM a suitable foundational model to facilitate diverse
scientific discovery tasks. For the benefit of the wider research community, we
release SciInstruct, and SciGLM, alongside a self-reflective framework and
fine-tuning code at https://github.com/THUDM/SciGLM.
- Abstract(参考訳): LLM(Large Language Models)は、科学的な発見を支援することを約束している。
しかしながら、そのような応用は、複雑な科学概念の理解、記号方程式の導出、高度な数値計算の解法におけるLLMの欠陥によって制限されている。
これらのギャップを埋めるために、大学レベルの科学的推論を行うことができる科学言語モデルのセットであるSciGLMを紹介します。
我々のアプローチの中心は、科学領域におけるデータ不足問題に対処するための、新しい自己表現型命令アノテーションフレームワークである。
このフレームワークは、既存のLCMを活用して、未解決の科学的問題に対するステップバイステップの推論を生成し、その後、自己反省的な批判と修正のプロセスが続く。
このフレームワークを適用して、物理、化学、数学、公式証明を含む多種多様な高品質なデータセットであるSciInstructをキュレートした。
言語モデルのChatGLMをSciInstructで微調整し、科学的および数学的推論能力を向上した。
SciGLMはベースモデル(ChatGLM3-6B-Base)を4.87%、大規模モデル(32B)を2.67%改善し、ベースモデルの言語理解能力を犠牲にしている。
これにより、SciGLMは多様な科学的発見タスクを促進するのに適した基礎モデルとなる。
より広い研究コミュニティの利益のために、私たちはSciInstructとSciGLMをリリースし、 https://github.com/THUDM/SciGLM.comで自己修正フレームワークと微調整コードを公開します。
関連論文リスト
- Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - SciAgent: Tool-augmented Language Models for Scientific Reasoning [129.51442677710452]
ツール強化科学推論という新しいタスク設定を導入する。
この設定は、スケーラブルなツールセットでLarge Language Modelsを補完する。
約3万のサンプルと約6,000のツールを含むツール拡張トレーニングコーパスであるMathFuncを構築した。
MathFunc上に構築したSciAgentは,科学的な問題解決のためのツールを検索し,理解し,必要に応じて利用する。
論文 参考訳(メタデータ) (2024-02-18T04:19:44Z) - Scientific Large Language Models: A Survey on Biological & Chemical
Domains [45.873156812250514]
大規模言語モデル(LLM)は、自然言語理解の強化において、変革的な力として現れてきた。
LLMの応用は従来の言語境界を超えて、様々な科学分野で開発された専門的な言語システムを含んでいる。
AI for Science(AI for Science)のコミュニティで急成長している分野として、科学LLMは包括的な探査を義務付けている。
論文 参考訳(メタデータ) (2024-01-26T05:33:34Z) - Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - Large Language Models are Zero Shot Hypothesis Proposers [17.612235393984744]
大規模言語モデル(LLM)は、情報障壁を断ち切ることを約束する、グローバルかつ学際的な知識の豊富なものである。
バイオメディカル文献から背景知識と仮説ペアからなるデータセットを構築した。
ゼロショット, 少数ショット, 微調整設定において, 最上位モデルの仮説生成能力を評価する。
論文 参考訳(メタデータ) (2023-11-10T10:03:49Z) - An Interdisciplinary Outlook on Large Language Models for Scientific
Research [3.4108358650013573]
本稿では,異なる学問分野におけるLarge Language Models(LLM)の機能と制約について述べる。
本稿では, LLM が学術調査の強化を図り, 大量の出版物を要約することで, 文献レビューの促進などの具体的な事例を提示する。
LLMが直面する課題には、広範囲で偏見のあるデータセットへの依存や、それらの使用から生じる潜在的な倫理的ジレンマが含まれる。
論文 参考訳(メタデータ) (2023-11-03T19:41:09Z) - DARWIN Series: Domain Specific Large Language Models for Natural Science [20.864698325126735]
本稿では,物理,化学,物質科学を中心に,自然科学に適したLLMのシリーズであるDARWINを紹介する。
我々は6万以上の命令データポイントを用いてモデルを微調整し、事実の正しさを強調した。
DARWINシリーズは、様々な科学的タスクに関する最先端の結果を達成するだけでなく、クローズドソースAIモデルへの依存を減少させる。
論文 参考訳(メタデータ) (2023-08-25T01:40:48Z) - SciBench: Evaluating College-Level Scientific Problem-Solving Abilities
of Large Language Models [72.92461995173201]
拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。
SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。
その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
論文 参考訳(メタデータ) (2023-07-20T07:01:57Z) - SCITUNE: Aligning Large Language Models with Scientific Multimodal
Instructions [0.7264378254137809]
本研究では,SciTuneを,LLMが科学的マルチモーダル命令に従う能力を向上させるためのチューニングフレームワークとして提示する。
提案手法をテストするために,人間による科学的指導チューニングデータセットを使用し,大規模マルチモーダルモデルLLaMA-SciTuneを訓練する。
マシン生成データのみで微調整されたモデルと比較して、LLaMA-SciTuneは平均的およびScienceQAベンチマーク上の多くのサブカテゴリで人のパフォーマンスを上回っている。
論文 参考訳(メタデータ) (2023-07-03T16:25:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。