論文の概要: SciGPT: A Large Language Model for Scientific Literature Understanding and Knowledge Discovery
- arxiv url: http://arxiv.org/abs/2509.08032v1
- Date: Tue, 09 Sep 2025 16:09:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-11 15:16:52.214312
- Title: SciGPT: A Large Language Model for Scientific Literature Understanding and Knowledge Discovery
- Title（参考訳）: SciGPT:科学文献理解と知識発見のための大規模言語モデル
- Authors: Fengyu She, Nan Wang, Hongfei Wu, Ziyi Wan, Jingmian Wang, Chang Wang,
- Abstract要約: 本稿では、科学文献理解のためのドメイン適応モデルSciGPTと、科学的LLMを評価するためのオープンソースベンチマークSciGPTを提案する。
Qwen3アーキテクチャ上に構築されたSciGPTには、パフォーマンスと効率のバランスをとるために、(1)2段階のパイプラインによる低コストなドメイン蒸留、(2)32,000の長期的推論のために、メモリ消費を55%削減するスパース混合処理の注意機構、(3)ドメイン固有のニュアンスを統合する知識認識適応の3つの革新が含まれている。
ScienceBenchの実験結果によると、SciGPTは配列を含む中核的な科学的タスクにおいてGPT-4oを上回っている。
- 参考スコア（独自算出の注目度）: 3.779883844533933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scientific literature is growing exponentially, creating a critical bottleneck for researchers to efficiently synthesize knowledge. While general-purpose Large Language Models (LLMs) show potential in text processing, they often fail to capture scientific domain-specific nuances (e.g., technical jargon, methodological rigor) and struggle with complex scientific tasks, limiting their utility for interdisciplinary research. To address these gaps, this paper presents SciGPT, a domain-adapted foundation model for scientific literature understanding and ScienceBench, an open source benchmark tailored to evaluate scientific LLMs. Built on the Qwen3 architecture, SciGPT incorporates three key innovations: (1) low-cost domain distillation via a two-stage pipeline to balance performance and efficiency; (2) a Sparse Mixture-of-Experts (SMoE) attention mechanism that cuts memory consumption by 55\% for 32,000-token long-document reasoning; and (3) knowledge-aware adaptation integrating domain ontologies to bridge interdisciplinary knowledge gaps. Experimental results on ScienceBench show that SciGPT outperforms GPT-4o in core scientific tasks including sequence labeling, generation, and inference. It also exhibits strong robustness in unseen scientific tasks, validating its potential to facilitate AI-augmented scientific discovery.
- Abstract（参考訳）: 科学文献は指数関数的に増加しており、研究者が知識を効率的に合成する上で重要なボトルネックとなっている。
汎用Large Language Models (LLM) はテキスト処理のポテンシャルを示すが、科学的領域固有のニュアンス(技術的用語、方法論的厳密さなど)を捉えることができず、複雑な科学的課題に悩まされ、学際的な研究に限界がある。
本稿では,科学文献理解のための領域適応基盤モデルであるSciGPTと,科学的LLMを評価するためのオープンソースベンチマークであるSciGPTについて述べる。
Qwen3アーキテクチャをベースとして構築されたSciGPTには,(1)2段階のパイプラインによる低コストなドメイン蒸留によるパフォーマンスと効率のバランス,(2)32,000件の長期ドキュメント推論において,メモリ消費を55倍に削減するSMOE(Sparse Mixture-of-Experts)アテンション機構,(3)ドメインオントロジーの統合による学際的知識ギャップのブリッジなど,3つの重要なイノベーションが含まれている。
ScienceBenchの実験結果によると、SciGPTはシークエンスラベリング、生成、推論を含む中核的な科学的タスクにおいてGPT-4oを上回っている。
また、目に見えない科学的タスクにおいて強力な堅牢性を示し、AIを増強した科学的発見を促進する可能性を検証している。
関連論文リスト
- SciRAG: Adaptive, Citation-Aware, and Outline-Guided Retrieval and Synthesis for Scientific Literature [52.36039386997026]
我々は科学文献探索のためのオープンソースのフレームワークであるSciRAGを紹介する。
1) 逐次的証拠収集と並列的証拠収集を柔軟に交互に交互に行う適応的検索,(2) 引用グラフを利用して文書を整理・フィルタリングする引用型記号推論,(3) 整合性と透過的帰属性を確保するために回答を計画・批評・洗練するアウトライン誘導合成,である。
論文 参考訳（メタデータ） (2025-11-18T11:09:19Z) - Demystifying Scientific Problem-Solving in LLMs by Probing Knowledge and Reasoning [53.82037883518254]
SciReasは、科学的推論タスクのための様々なベンチマークスイートである。
次に、科学的タスクにおける推論と知識の異なる役割を研究するための探索フレームワークであるKRUXを提案する。
論文 参考訳（メタデータ） (2025-08-26T17:04:23Z) - Scientists' First Exam: Probing Cognitive Abilities of MLLM via Perception, Understanding, and Reasoning [59.518397361341556]
我々は,Multimodal Large Language Models (MLLM) の科学的認知能力を評価するために設計された,Scientists' First Exam (SFE) ベンチマークを提示する。
SFEは3つの質問タイプにまたがる830のエキスパート検証VQAペアで構成され、5つの高価値分野にまたがる66のマルチモーダルタスクにまたがる。
実験の結果、現在最先端のGPT-o3とInternVL-3はSFEでわずか34.08%と26.52%しか達成できず、MLLMが科学領域で改善する余地があることが明らかになった。
論文 参考訳（メタデータ） (2025-06-12T09:29:16Z) - Advancing the Scientific Method with Large Language Models: From Hypothesis to Discovery [35.888956949646]
大規模言語モデル (LLM) は科学的方法を変えて科学的研究を変革している。
LLMは、特に化学や生物学において、実験的な設計、データ分析、生産性の向上に関与している。
AI駆動科学への移行は、創造性、監視、責任に関する倫理的な疑問を提起する。
論文 参考訳（メタデータ） (2025-05-22T10:05:48Z) - HiPerRAG: High-Performance Retrieval Augmented Generation for Scientific Insights [72.82973609312178]
HiPerRAGは360万以上の科学論文から知識をインデクシングし取り出すワークフローである。
コアとなるのはマルチモーダル文書解析のための高スループットモデルであるOreoと、クエリ対応エンコーダの微調整アルゴリズムであるColTrastだ。
HiPerRAGは、既存の科学的質問応答ベンチマークと、この研究で導入された2つの新しいベンチマークで堅牢なパフォーマンスを提供する。
論文 参考訳（メタデータ） (2025-05-07T22:50:23Z) - OmniScience: A Domain-Specialized LLM for Scientific Reasoning and Discovery [12.306721865990053]
一般科学のための専門的な大規模推論モデルであるOmniScienceを紹介する。
我々は、分子を潜在的電解質溶媒または添加剤として効率よくランク付けする電池剤を開発した。
我々は,ドメイン適応型事前学習と推論に基づく知識蒸留が性能レベルを達成するために重要であることをアブレーション実験で実証した。
論文 参考訳（メタデータ） (2025-03-22T01:18:59Z) - Transforming Science with Large Language Models: A Survey on AI-assisted Scientific Discovery, Experimentation, Content Generation, and Evaluation [58.064940977804596]
多くの新しいAIモデルとツールが提案され、世界中の研究者や学者が研究をより効果的かつ効率的に実施できるようにすることを約束している。
これらのツールの欠点と誤用の可能性に関する倫理的懸念は、議論の中で特に顕著な位置を占める。
論文 参考訳（メタデータ） (2025-02-07T18:26:45Z) - SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding [22.131371019641417]
大言語モデルの成功にもかかわらず、科学文献理解の課題に直面している。
連続事前学習(CPT)と教師付き微調整(SFT)を統合したハイブリッド戦略を提案する。
我々は科学文献理解に特化したLLMスイートSciLitLLMを提案する。
論文 参考訳（メタデータ） (2024-08-28T05:41:52Z) - Scientific Large Language Models: A Survey on Biological & Chemical Domains [47.97810890521825]
大規模言語モデル(LLM)は、自然言語理解の強化において、変革的な力として現れてきた。
LLMの応用は従来の言語境界を超えて、様々な科学分野で開発された専門的な言語システムを含んでいる。
AI for Science(AI for Science)のコミュニティで急成長している分野として、科学LLMは包括的な探査を義務付けている。
論文 参考訳（メタデータ） (2024-01-26T05:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。