論文の概要: OmniScience: A Domain-Specialized LLM for Scientific Reasoning and Discovery

• arxiv url: http://arxiv.org/abs/2503.17604v1
• Date: Sat, 22 Mar 2025 01:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:31:00.716678
• Title: OmniScience: A Domain-Specialized LLM for Scientific Reasoning and Discovery
• Title（参考訳）: OmniScience: 科学的推論と発見のためのドメイン特化LDM
• Authors: Vignesh Prabhakar, Md Amirul Islam, Adam Atanas, Yao-Ting Wang, Joah Han, Aastha Jhunjhunwala, Rucha Apte, Robert Clark, Kang Xu, Zihan Wang, Kai Liu,
• Abstract要約: 一般科学のための専門的な大規模推論モデルであるOmniScienceを紹介する。 我々は、分子を潜在的電解質溶媒または添加剤として効率よくランク付けする電池剤を開発した。 我々は,ドメイン適応型事前学習と推論に基づく知識蒸留が性能レベルを達成するために重要であることをアブレーション実験で実証した。
• 参考スコア（独自算出の注目度）: 12.306721865990053
• License:
• Abstract: Large Language Models (LLMs) have demonstrated remarkable potential in advancing scientific knowledge and addressing complex challenges. In this work, we introduce OmniScience, a specialized large reasoning model for general science, developed through three key components: (1) domain adaptive pretraining on a carefully curated corpus of scientific literature, (2) instruction tuning on a specialized dataset to guide the model in following domain-specific tasks, and (3) reasoning-based knowledge distillation through fine-tuning to significantly enhance its ability to generate contextually relevant and logically sound responses. We demonstrate the versatility of OmniScience by developing a battery agent that efficiently ranks molecules as potential electrolyte solvents or additives. Comprehensive evaluations reveal that OmniScience is competitive with state-of-the-art large reasoning models on the GPQA Diamond and domain-specific battery benchmarks, while outperforming all public reasoning and non-reasoning models with similar parameter counts. We further demonstrate via ablation experiments that domain adaptive pretraining and reasoning-based knowledge distillation are critical to attain our performance levels, across benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、科学的知識の進歩と複雑な課題への対処において、顕著な可能性を示している。 本研究は, 一般科学のための専門的な大規模推論モデルであるOmniScienceについて, 1) 慎重に計算された学術文献のコーパス上でのドメイン適応事前学習, (2) 専門データセットによる指導指導, (3) 微調整による推論に基づく知識の蒸留により, 文脈的・論理的応答を生成する能力を大幅に向上させる, という3つの重要な要素から紹介する。 我々は、分子を潜在的電解質溶媒または添加剤として効率的にランク付けする電池剤を開発することにより、OmniScienceの汎用性を実証する。 総合的な評価から、OmniScienceはGPQAダイアモンドとドメイン固有のバッテリーベンチマークの最先端の大規模推論モデルと競合する一方で、同様のパラメータ数を持つすべての公開推論モデルや非推論モデルよりも優れていることが分かる。 さらに私たちは,ドメイン適応型事前学習と推論に基づく知識蒸留が,ベンチマークによるパフォーマンスレベル達成に不可欠であることを,アブレーション実験を通じて実証した。

関連論文リスト

• MOLLM: Multi-Objective Large Language Model for Molecular Design -- Optimizing with Experts [3.9194654197529784]
  分子設計は、薬物発見、材料科学、化学工学といった分野の発展に重要な役割を果たしている。 分子設計のための多目的大規模言語モデル(MOLLM)は、ドメイン固有の知識と大規模言語モデルの適応性を組み合わせた新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-02-18T13:25:00Z)
• Probing the limitations of multimodal language models for chemistry and materials research [3.422786943576035]
  実世界の化学や材料科学のタスクを視覚言語モデルがどのように扱うかを評価するためのベンチマークであるMaCBenchを紹介する。 これらのシステムは、基本的な知覚タスクにおいて有望な能力を示すが、空間的推論、クロスモーダル情報合成、論理的推論の基本的な限界を示す。 私たちの洞察は、化学や材料科学以外にも重要な意味を持ち、信頼性の高いマルチモーダルAI科学アシスタントを開発するには、適切なトレーニングデータとそれらのモデルをトレーニングするためのアプローチのキュレーションの進歩が必要であることを示唆している。
  論文  参考訳（メタデータ） (2024-11-25T21:51:45Z)
• Evaluation of OpenAI o1: Opportunities and Challenges of AGI [112.0812059747033]
  o1-previewは目覚ましい能力を示し、しばしば人間レベルまたは優れたパフォーマンスを実現した。 このモデルは、様々な分野にわたる複雑な推論と知識の統合を必要とするタスクに優れていた。 総合的な結果は、人工知能への大きな進歩を示している。
  論文  参考訳（メタデータ） (2024-09-27T06:57:00Z)
• Knowledge AI: Fine-tuning NLP Models for Facilitating Scientific Knowledge Extraction and Understanding [0.0]
  本研究は,Large Language Models (LLMs) の,特定の領域における科学的知識の理解と抽出における有効性について検討する。 トレーニング済みのモデルを採用し、科学領域のデータセットを微調整します。
  論文  参考訳（メタデータ） (2024-08-04T01:32:09Z)
• Towards Effective and Efficient Continual Pre-training of Large Language Models [163.34610964970258]
  CPT(Continuous pre-training)は、特定のドメインやタスクに言語モデルを適用する上で重要なアプローチである。 本稿では,Llama-3 (8B) の継続事前訓練に関する技術的報告を報告する。 バックボーンモデルの中国語能力と科学的推論能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-26T13:55:21Z)
• Improving Molecular Modeling with Geometric GNNs: an Empirical Study [56.52346265722167]
  本稿では,異なる標準化手法,(2)グラフ作成戦略,(3)補助的なタスクが性能,拡張性,対称性の強制に与える影響に焦点をあてる。 本研究の目的は,分子モデリングタスクに最適なモデリングコンポーネントの選択を研究者に案内することである。
  論文  参考訳（メタデータ） (2024-07-11T09:04:12Z)
• LLM and Simulation as Bilevel Optimizers: A New Paradigm to Advance Physical Scientific Discovery [141.39722070734737]
  本稿では,大規模言語モデルの知識駆動型抽象推論能力をシミュレーションの計算力で強化することを提案する。 本稿では,2段階最適化フレームワークであるSGA(Scientific Generative Agent)を紹介する。 法発見と分子設計における枠組みの有効性を実証するための実験を行った。
  論文  参考訳（メタデータ） (2024-05-16T03:04:10Z)
• Integrating Chemistry Knowledge in Large Language Models via Prompt Engineering [2.140221068402338]
  本稿では,科学領域における大規模言語モデル(LLM)の性能向上を目的として,ドメイン固有の知識の統合について検討する。 ベンチマークデータセットは、小さな分子の複雑な物理化学的性質、薬理学の薬物性、酵素や結晶材料の機能的特性に適合する。 提案したドメイン知識組み込みのプロンプトエンジニアリング手法は,従来のプロンプトエンジニアリング手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-04-22T16:55:44Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Machine Learning in Nano-Scale Biomedical Engineering [77.75587007080894]
  ナノスケールバイオメディカルエンジニアリングにおける機械学習の利用に関する既存の研究について概説する。 ML問題として定式化できる主な課題は、3つの主要なカテゴリに分類される。 提示された方法論のそれぞれについて、その原則、応用、制限に特に重点を置いている。
  論文  参考訳（メタデータ） (2020-08-05T15:45:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。