論文の概要: MELT: Materials-aware Continued Pre-training for Language Model Adaptation to Materials Science

• arxiv url: http://arxiv.org/abs/2410.15126v1
• Date: Sat, 19 Oct 2024 14:49:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:28.084709
• Title: MELT: Materials-aware Continued Pre-training for Language Model Adaptation to Materials Science
• Title（参考訳）: MELT:材料科学への言語モデル適応のための教材認識事前学習
• Authors: Junho Kim, Yeachan Kim, Jun-Hyung Park, Yerim Oh, Suho Kim, SangKeun Lee,
• Abstract要約: MELT (MatEriaLs-aware continued pre-Training) は、材料科学のための事前学習言語モデル (PLM) を効率的に適応させるように設計されている。 まず、セマンティックグラフを構築することによって、科学コーパスから総合的な資料知識基盤を構築する。 我々は、MELTの有効性と汎用性を検証するために、様々なベンチマークで広範な実験を行う。
• 参考スコア（独自算出の注目度）: 19.967041632609526
• License:
• Abstract: We introduce a novel continued pre-training method, MELT (MatEriaLs-aware continued pre-Training), specifically designed to efficiently adapt the pre-trained language models (PLMs) for materials science. Unlike previous adaptation strategies that solely focus on constructing domain-specific corpus, MELT comprehensively considers both the corpus and the training strategy, given that materials science corpus has distinct characteristics from other domains. To this end, we first construct a comprehensive materials knowledge base from the scientific corpus by building semantic graphs. Leveraging this extracted knowledge, we integrate a curriculum into the adaptation process that begins with familiar and generalized concepts and progressively moves toward more specialized terms. We conduct extensive experiments across diverse benchmarks to verify the effectiveness and generality of MELT. A comprehensive evaluation convincingly supports the strength of MELT, demonstrating superior performance compared to existing continued pre-training methods. The in-depth analysis also shows that MELT enables PLMs to effectively represent materials entities compared to the existing adaptation methods, thereby highlighting its broad applicability across a wide spectrum of materials science.
• Abstract（参考訳）: 本稿では, 教材科学において, 学習済み言語モデル(PLM)を効果的に適応する新しい事前学習手法であるMELT(MatEriaLs-aware continued pre-Training)を紹介する。 ドメイン固有のコーパスの構築にのみ焦点をあてる従来の適応戦略とは異なり、MELTは物質科学コーパスが他のドメインと異なる特徴を持っていることを考慮し、コーパスとトレーニング戦略の両方を包括的に検討している。 この目的のために、我々はまず、セマンティックグラフを構築することによって、科学的コーパスから総合的な資料知識基盤を構築する。 この抽出された知識を活用して、慣れ親しんだ一般化された概念から始まる適応プロセスにカリキュラムを統合し、より専門的な用語へと徐々に移行する。 我々は,MELTの有効性と汎用性を検証するため,様々なベンチマークにまたがる広範囲な実験を行った。 包括的評価はMELTの強度を確実に支持し、既存の継続事前学習法と比較して優れた性能を示す。 奥行き分析により、MELTは既存の適応法と比較してPLMを効果的に表現することができ、幅広い材料科学に応用可能であることが示された。

関連論文リスト

• MatterChat: A Multi-Modal LLM for Material Science [40.34536331137755]
  マルチモーダルな多モード言語モデルであるMatterChatを紹介する。 そこで,MatterChatは材料特性予測と人間-AIインタラクションの性能を大幅に向上させることを示す。 また、より高度な科学的推論やステップバイステップの物質合成などの応用においても有用性を示す。
  論文  参考訳（メタデータ） (2025-02-18T18:19:36Z)
• MAPS: Advancing Multi-Modal Reasoning in Expert-Level Physical Science [62.96434290874878]
  現在のMLLM(Multi-Modal Large Language Models)は、一般的な視覚的推論タスクにおいて強力な機能を示している。 我々は,MLLMに基づく物理知覚とシミュレーションによるマルチモーダル科学推論(MAPS)という新しいフレームワークを開発した。 MAPSは、専門家レベルのマルチモーダル推論タスクを物理的知覚モデル(PPM)を介して物理図理解に分解し、シミュレータを介して物理的知識で推論する。
  論文  参考訳（メタデータ） (2025-01-18T13:54:00Z)
• Beyond Factual Accuracy: Evaluating Coverage of Diverse Factual Information in Long-form Text Generation [56.82274763974443]
  ICATは、長文テキスト生成における多様な事実情報のカバレッジを測定するための評価フレームワークである。 原子の事実的クレームと出力で提示されるであろう様々な側面のアライメントを計算する。 私たちのフレームワークは、多様性とカバレッジの解釈可能かつきめ細かな分析を提供します。
  論文  参考訳（メタデータ） (2025-01-07T05:43:23Z)
• From Tokens to Materials: Leveraging Language Models for Scientific Discovery [12.211984932142537]
  本研究では, 材料科学における材料特性予測のための言語モデル埋め込みの適用について検討した。 本研究では、ドメイン固有モデル、特にMatBERTが、複合名や材料特性から暗黙的な知識を抽出する際の汎用モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-21T16:31:23Z)
• MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
  大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。 LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。 提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-10-18T05:31:13Z)
• Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate [118.37653302885607]
  本稿では,LVLM(Large Vision Language Models)のマルチモーダル事前学習品質を示すために,MIR(Modality Integration Rate)を提案する。 MIRは、トレーニングデータ選択、トレーニング戦略スケジュール、モデルアーキテクチャ設計に重点を置いて、トレーニング前の結果を改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:04Z)
• Structure-aware Domain Knowledge Injection for Large Language Models [38.08691252042949]
  StructTuningは、大規模言語モデル(LLM)をドメインスペシャリストに変換する方法論である。 従来の知識注入性能の100パーセントを達成しながら、トレーニングコーパスに必要なトレーニングコーパスをわずか5%削減します。
  論文  参考訳（メタデータ） (2024-07-23T12:38:48Z)
• FecTek: Enhancing Term Weight in Lexicon-Based Retrieval with Feature Context and Term-level Knowledge [54.61068946420894]
  FEature Context と TErm レベルの知識モジュールを導入して,革新的な手法を提案する。 項重みの特徴コンテキスト表現を効果的に強化するために、FCM(Feature Context Module)が導入された。 また,用語レベルの知識を効果的に活用し,用語重みのモデル化プロセスをインテリジェントに導くための用語レベルの知識誘導モジュール(TKGM)を開発した。
  論文  参考訳（メタデータ） (2024-04-18T12:58:36Z)
• Mining experimental data from Materials Science literature with Large Language Models: an evaluation study [1.9849264945671101]
  本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。 我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。 これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
  論文  参考訳（メタデータ） (2024-01-19T23:00:31Z)
• Artificial intelligence approaches for materials-by-design of energetic materials: state-of-the-art, challenges, and future directions [0.0]
  我々は,AIによる材料設計の進歩とそのエネルギー材料への応用についてレビューする。 文献における手法を,少数のデータから学習する能力の観点から評価する。 本稿では,メタラーニング,アクティブラーニング,ベイズラーニング,半/弱教師付きラーニングなど,EM教材の今後の研究方向性について提案する。
  論文  参考訳（メタデータ） (2022-11-15T14:41:11Z)
• Forging Multiple Training Objectives for Pre-trained Language Models via Meta-Learning [97.28779163988833]
  複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。 メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
  論文  参考訳（メタデータ） (2022-10-19T04:38:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。