論文の概要: MELT: Materials-aware Continued Pre-training for Language Model Adaptation to Materials Science

• arxiv url: http://arxiv.org/abs/2410.15126v1
• Date: Sat, 19 Oct 2024 14:49:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:28.084709
• Title: MELT: Materials-aware Continued Pre-training for Language Model Adaptation to Materials Science
• Title（参考訳）: MELT:材料科学への言語モデル適応のための教材認識事前学習
• Authors: Junho Kim, Yeachan Kim, Jun-Hyung Park, Yerim Oh, Suho Kim, SangKeun Lee,
• Abstract要約: MELT (MatEriaLs-aware continued pre-Training) は、材料科学のための事前学習言語モデル (PLM) を効率的に適応させるように設計されている。 まず、セマンティックグラフを構築することによって、科学コーパスから総合的な資料知識基盤を構築する。 我々は、MELTの有効性と汎用性を検証するために、様々なベンチマークで広範な実験を行う。
• 参考スコア（独自算出の注目度）: 19.967041632609526
• License:
• Abstract: We introduce a novel continued pre-training method, MELT (MatEriaLs-aware continued pre-Training), specifically designed to efficiently adapt the pre-trained language models (PLMs) for materials science. Unlike previous adaptation strategies that solely focus on constructing domain-specific corpus, MELT comprehensively considers both the corpus and the training strategy, given that materials science corpus has distinct characteristics from other domains. To this end, we first construct a comprehensive materials knowledge base from the scientific corpus by building semantic graphs. Leveraging this extracted knowledge, we integrate a curriculum into the adaptation process that begins with familiar and generalized concepts and progressively moves toward more specialized terms. We conduct extensive experiments across diverse benchmarks to verify the effectiveness and generality of MELT. A comprehensive evaluation convincingly supports the strength of MELT, demonstrating superior performance compared to existing continued pre-training methods. The in-depth analysis also shows that MELT enables PLMs to effectively represent materials entities compared to the existing adaptation methods, thereby highlighting its broad applicability across a wide spectrum of materials science.
• Abstract（参考訳）: 本稿では, 教材科学において, 学習済み言語モデル(PLM)を効果的に適応する新しい事前学習手法であるMELT(MatEriaLs-aware continued pre-Training)を紹介する。 ドメイン固有のコーパスの構築にのみ焦点をあてる従来の適応戦略とは異なり、MELTは物質科学コーパスが他のドメインと異なる特徴を持っていることを考慮し、コーパスとトレーニング戦略の両方を包括的に検討している。 この目的のために、我々はまず、セマンティックグラフを構築することによって、科学的コーパスから総合的な資料知識基盤を構築する。 この抽出された知識を活用して、慣れ親しんだ一般化された概念から始まる適応プロセスにカリキュラムを統合し、より専門的な用語へと徐々に移行する。 我々は,MELTの有効性と汎用性を検証するため,様々なベンチマークにまたがる広範囲な実験を行った。 包括的評価はMELTの強度を確実に支持し、既存の継続事前学習法と比較して優れた性能を示す。 奥行き分析により、MELTは既存の適応法と比較してPLMを効果的に表現することができ、幅広い材料科学に応用可能であることが示された。

関連論文リスト

• From Tokens to Materials: Leveraging Language Models for Scientific Discovery [12.211984932142537]
  本研究では, 材料科学における材料特性予測のための言語モデル埋め込みの適用について検討した。 本研究では、ドメイン固有モデル、特にMatBERTが、複合名や材料特性から暗黙的な知識を抽出する際の汎用モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-21T16:31:23Z)
• MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
  大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。 LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。 提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-10-18T05:31:13Z)
• Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate [118.37653302885607]
  本稿では,LVLM(Large Vision Language Models)のマルチモーダル事前学習品質を示すために,MIR(Modality Integration Rate)を提案する。 MIRは、トレーニングデータ選択、トレーニング戦略スケジュール、モデルアーキテクチャ設計に重点を置いて、トレーニング前の結果を改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:04Z)
• Structure-aware Domain Knowledge Injection for Large Language Models [37.089378357827826]
  本稿では,基礎言語モデル(LLM)をドメインスペシャリストに効率的に変換する手法であるStructTuningを紹介する。 従来の知識注入性能の50%を達成しながら、トレーニングコーパスの要求をわずか0.3%まで大幅に削減する。 本手法は,MMedBench の最先端 MMedLM2 に対して,トレーニングコストが5% に大幅に削減される可能性を示した。
  論文  参考訳（メタデータ） (2024-07-23T12:38:48Z)
• FecTek: Enhancing Term Weight in Lexicon-Based Retrieval with Feature Context and Term-level Knowledge [54.61068946420894]
  FEature Context と TErm レベルの知識モジュールを導入して,革新的な手法を提案する。 項重みの特徴コンテキスト表現を効果的に強化するために、FCM(Feature Context Module)が導入された。 また,用語レベルの知識を効果的に活用し,用語重みのモデル化プロセスをインテリジェントに導くための用語レベルの知識誘導モジュール(TKGM)を開発した。
  論文  参考訳（メタデータ） (2024-04-18T12:58:36Z)
• Towards Optimal Learning of Language Models [124.65669486710992]
  言語モデル(LM)の最適学習の理論を提案する。 我々は、最適学習過程における力学の性質を明らかにするために、学習法則という定理を導出した。 我々は、LMの最適学習が、LMのスケーリング法則における係数の改善に起因することを実証的に検証した。
  論文  参考訳（メタデータ） (2024-02-27T18:52:19Z)
• Mining experimental data from Materials Science literature with Large Language Models: an evaluation study [1.9849264945671101]
  本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。 我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。 これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
  論文  参考訳（メタデータ） (2024-01-19T23:00:31Z)
• ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
  ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。 これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。 実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-11T05:05:01Z)
• MatSci-NLP: Evaluating Scientific Language Models on Materials Science Language Tasks Using Text-to-Schema Modeling [13.30198968869312]
  MatSci-NLPは、自然言語処理(NLP)モデルの性能を評価するためのベンチマークである。 我々は,7つの異なるNLPタスクを含む,公開資料科学テキストデータからベンチマークを構築した。 本研究では,様々な理科テキストコーパスで事前学習したBERTモデルについて検討し,事前学習戦略が教材理科テキストの理解に与える影響について考察した。
  論文  参考訳（メタデータ） (2023-05-14T22:01:24Z)
• Artificial intelligence approaches for materials-by-design of energetic materials: state-of-the-art, challenges, and future directions [0.0]
  我々は,AIによる材料設計の進歩とそのエネルギー材料への応用についてレビューする。 文献における手法を,少数のデータから学習する能力の観点から評価する。 本稿では,メタラーニング,アクティブラーニング,ベイズラーニング,半/弱教師付きラーニングなど,EM教材の今後の研究方向性について提案する。
  論文  参考訳（メタデータ） (2022-11-15T14:41:11Z)
• Forging Multiple Training Objectives for Pre-trained Language Models via Meta-Learning [97.28779163988833]
  複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。 メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
  論文  参考訳（メタデータ） (2022-10-19T04:38:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。