論文の概要: DARWIN 1.5: Large Language Models as Materials Science Adapted Learners

• arxiv url: http://arxiv.org/abs/2412.11970v1
• Date: Mon, 16 Dec 2024 16:51:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:21.970643
• Title: DARWIN 1.5: Large Language Models as Materials Science Adapted Learners
• Title（参考訳）: DARWIN 1.5: 教材科学に対応した学習者のための大規模言語モデル
• Authors: Tong Xie, Yuwei Wan, Yixuan Liu, Yuchen Zeng, Wenjie Zhang, Chunyu Kit, Dongzhan Zhou, Bram Hoex,
• Abstract要約: 材料科学に適したオープンソースの大規模言語モデル(LLM)であるDarwin 1.5を提案する。 自然言語を入力として活用することで、Darwinはタスク固有の記述子を必要としない。 我々はLLaMA-7Bベースモデルと比較して最大60%の精度でLLMの予測精度を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 14.62937491477524
• License:
• Abstract: Materials discovery and design aim to find components and structures with desirable properties over highly complex and diverse search spaces. Traditional solutions, such as high-throughput simulations and machine learning (ML), often rely on complex descriptors, which hinder generalizability and transferability across tasks. Moreover, these descriptors may deviate from experimental data due to inevitable defects and purity issues in the real world, which may reduce their effectiveness in practical applications. To address these challenges, we propose Darwin 1.5, an open-source large language model (LLM) tailored for materials science. By leveraging natural language as input, Darwin eliminates the need for task-specific descriptors and enables a flexible, unified approach to material property prediction and discovery. We employ a two-stage training strategy combining question-answering (QA) fine-tuning with multi-task learning (MTL) to inject domain-specific knowledge in various modalities and facilitate cross-task knowledge transfer. Through our strategic approach, we achieved a significant enhancement in the prediction accuracy of LLMs, with a maximum improvement of 60\% compared to LLaMA-7B base models. It further outperforms traditional machine learning models on various tasks in material science, showcasing the potential of LLMs to provide a more versatile and scalable foundation model for materials discovery and design.
• Abstract（参考訳）: 材料発見と設計は、非常に複雑で多様な検索空間上で望ましい性質を持つコンポーネントや構造を見つけることを目的としている。 高スループットシミュレーションや機械学習(ML)といった従来のソリューションは、しばしば複雑な記述子に依存しており、タスク間の一般化可能性や転送可能性を妨げる。 さらに、これらの記述子は、現実世界の必然的な欠陥や純度の問題により、実験データから逸脱し、実用的な応用においてその効果を低下させる可能性がある。 これらの課題に対処するため、材料科学に適したオープンソースの大規模言語モデル(LLM)であるDarwin 1.5を提案する。 自然言語を入力として活用することにより、ダーウィンはタスク固有の記述子の必要性を排除し、物質的特性の予測と発見に対する柔軟な統一的なアプローチを可能にする。 我々は、質問応答(QA)微調整とマルチタスク学習(MTL)を組み合わせた2段階の学習戦略を用いて、ドメイン固有の知識を様々なモダリティに注入し、クロスタスクの知識伝達を促進する。 戦略的アプローチにより,LLaMA-7Bベースモデルと比較して最大60倍の精度でLLMの予測精度を大幅に向上した。 さらに、材料科学における様々なタスクにおける従来の機械学習モデルよりも優れており、LLMのポテンシャルを示し、材料発見と設計のためのより汎用的でスケーラブルな基礎モデルを提供する。

関連論文リスト

• When Machine Unlearning Meets Retrieval-Augmented Generation (RAG): Keep Secret or Forget Knowledge? [15.318301783084681]
  大規模言語モデル(LLM)は、トレーニング中に機密情報や有害なコンテンツを不注意に学習し、保持することができる。 本稿では,RAG(Retrieval-Augmented Generation)技術に基づく軽量なアンラーニングフレームワークを提案する。 われわれはChatGPT, Gemini, Llama-2-7b-chat-hf, PaLM 2 など,オープンソースおよびクローズドソースモデルの広範な実験を通じてフレームワークを評価する。
  論文  参考訳（メタデータ） (2024-10-20T03:51:01Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection [60.297079601066784]
  エラー検出におけるMLLMの能力を評価するために設計された最初のベンチマークであるErrorRadarを紹介する。 ErrorRadarはエラーステップ識別とエラー分類という2つのサブタスクを評価している。 2500の高品質なマルチモーダルK-12数学問題で構成され、実世界の学生相互作用から収集される。 GPT-4oの優れた性能は、まだ人間の評価に約10%遅れているため、大きな課題が残っている。
  論文  参考訳（メタデータ） (2024-10-06T14:59:09Z)
• AtomAgents: Alloy design and discovery through physics-aware multi-modal multi-agent artificial intelligence [0.0]
  提案されている物理対応生成AIプラットフォームAtomAgentsは、大規模言語モデル(LLM)のインテリジェンスをシナジする 以上の結果から, 合金間におけるキー特性の正確な予測が可能となり, 先進金属合金の開発を推し進めるためには, 固溶合金が重要な役割を担っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-13T22:46:02Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  このデータセットには、スキーマ図、シミュレーション画像、マクロ/顕微鏡写真、実験的可視化などの図が含まれている。 我々は,6つのプロプライエタリモデルと10以上のオープンソースモデルを評価し,科学的フィギュアキャプションと複数選択質問のベンチマークを開発した。 データセットとベンチマークは、さらなる研究をサポートするためにリリースされる予定だ。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• MechGPT, a language-based strategy for mechanics and materials modeling that connects knowledge across scales, disciplines and modalities [0.0]
  我々は,Large Language Model (LLM) を用いて,質問応答対を原料から抽出し,微調整する。 得られたMechGPT LLM基盤モデルは、知識検索、様々な言語タスク、仮説生成、異なる領域にわたる知識の接続能力を調べるために、一連の計算実験で使用される。
  論文  参考訳（メタデータ） (2023-10-16T14:29:35Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
  大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。 外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。 我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:00:00Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。