論文の概要: Mining experimental data from Materials Science literature with Large Language Models: an evaluation study

• arxiv url: http://arxiv.org/abs/2401.11052v3
• Date: Thu, 30 May 2024 20:28:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 20:12:03.994135
• Title: Mining experimental data from Materials Science literature with Large Language Models: an evaluation study
• Title（参考訳）: 大規模言語モデルを用いた材料科学文献からの実験的データのマイニング:評価研究
• Authors: Luca Foppiano, Guillaume Lambard, Toshiyuki Amagasa, Masashi Ishii,
• Abstract要約: 本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。 我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。 これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
• 参考スコア（独自算出の注目度）: 1.9849264945671101
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study is dedicated to assessing the capabilities of large language models (LLMs) such as GPT-3.5-Turbo, GPT-4, and GPT-4-Turbo in extracting structured information from scientific documents in materials science. To this end, we primarily focus on two critical tasks of information extraction: (i) a named entity recognition (NER) of studied materials and physical properties and (ii) a relation extraction (RE) between these entities. Due to the evident lack of datasets within Materials Informatics (MI), we evaluated using SuperMat, based on superconductor research, and MeasEval, a generic measurement evaluation corpus. The performance of LLMs in executing these tasks is benchmarked against traditional models based on the BERT architecture and rule-based approaches (baseline). We introduce a novel methodology for the comparative analysis of intricate material expressions, emphasising the standardisation of chemical formulas to tackle the complexities inherent in materials science information assessment. For NER, LLMs fail to outperform the baseline with zero-shot prompting and exhibit only limited improvement with few-shot prompting. However, a GPT-3.5-Turbo fine-tuned with the appropriate strategy for RE outperforms all models, including the baseline. Without any fine-tuning, GPT-4 and GPT-4-Turbo display remarkable reasoning and relationship extraction capabilities after being provided with merely a couple of examples, surpassing the baseline. Overall, the results suggest that although LLMs demonstrate relevant reasoning skills in connecting concepts, specialised models are currently a better choice for tasks requiring extracting complex domain-specific entities like materials. These insights provide initial guidance applicable to other materials science sub-domains in future work.
• Abstract（参考訳）: 本研究は, GPT-3.5-Turbo, GPT-4, GPT-4-Turboなどの大規模言語モデル(LLMs)を用いて, 材料科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。 この目的のために、我々は主に情報抽出の2つの重要なタスクに焦点を当てている。 一 研究資料及び物性の命名された実体認識(NER) (ii)これらのエンティティ間の関係抽出(RE)。 材料インフォマティクス (MI) におけるデータセットの欠如により, 超伝導体研究に基づくSuperMatと, 汎用評価コーパスであるMeasEvalを用いて評価を行った。 これらのタスクの実行におけるLCMのパフォーマンスは、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。 本稿では, 物質科学情報アセスメントに固有の複雑さに対処するために, 化学式を標準化することを強調する, 複雑な物質表現の比較分析のための新しい方法論を提案する。 NERでは、LLMはゼロショットプロンプトでベースラインを上回り、少数ショットプロンプトで限定的な改善しか示さない。 しかし、GPT-3.5-TurboはREの適切な戦略で微調整され、ベースラインを含む全てのモデルを上回った。 微調整なしでは、GPT-4とGPT-4-Turboは、わずか2つの例が与えられた後に顕著な推論と関係抽出能力を示し、ベースラインを超えた。 全体として、LLMは概念を接続する上で関連する推論スキルを示すが、物質のような複雑なドメイン固有のエンティティを抽出する必要のあるタスクには、専門化されたモデルの方がよい選択である。 これらの知見は、将来の研究において、他の物質科学サブドメインに適用可能な最初のガイダンスを提供する。

関連論文リスト

• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• Evaluating Large Language Models for Structured Science Summarization in the Open Research Knowledge Graph [18.41743815836192]
  本稿では,構造化科学要約のプロパティを自動提案するために,Large Language Models (LLMs) を提案する。 本研究は,ORKGが手作業でキュレートした特性と,前述の最先端のLCMによって生成された特性とを総合的に比較した。 全体として、LLMは科学を構造化するためのレコメンデーションシステムとしての可能性を示しているが、科学的タスクや人間の専門知識の模倣との整合性を改善するために、さらなる微調整が推奨されている。
  論文  参考訳（メタデータ） (2024-05-03T14:03:04Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Accelerated materials language processing enabled by GPT [5.518792725397679]
  我々は材料言語処理のための生成変換器(GPT)対応パイプラインを開発した。 まず、関連する文書をスクリーニングするためのGPT対応文書分類手法を開発する。 第二に、NERタスクでは、エンティティ中心のプロンプトを設計し、そのほとんどを学習することで、パフォーマンスが改善された。 最後に,GPT対応抽出QAモデルを開発し,性能の向上とアノテーションの自動修正の可能性を示す。
  論文  参考訳（メタデータ） (2023-08-18T07:31:13Z)
• MaScQA: A Question Answering Dataset for Investigating Materials Science Knowledge of Large Language Models [29.70397245624547]
  この研究は、材料学生の知識とスキルを必要とする材料領域から、650の挑戦的な質問のデータセットをキュレートする。 GPT-4はGPT-3.5と比較して最高の性能(62%の精度)を示した。
  論文  参考訳（メタデータ） (2023-08-17T17:51:05Z)
• Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
  大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。 外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。 我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:00:00Z)
• LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities [66.36633042421387]
  知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。 我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
  論文  参考訳（メタデータ） (2023-05-22T15:56:44Z)
• Large Language Models as Master Key: Unlocking the Secrets of Materials Science with GPT [9.33544942080883]
  本稿では,物質科学におけるデバイスレベルでの情報抽出の複雑さに対処するため,構造化情報推論(SII)と呼ばれる自然言語処理(NLP)タスクを提案する。 我々は、既存のペロブスカイト型太陽電池FAIRデータセットに91.8%のF1スコアでGPT-3をチューニングし、リリース以来のデータでデータセットを拡張した。 また、太陽電池の電気性能を予測する実験を設計し、大規模言語モデル(LLM)を用いてターゲットパラメータを持つ材料や装置の設計を行った。
  論文  参考訳（メタデータ） (2023-04-05T04:01:52Z)
• Information Extraction in Low-Resource Scenarios: Survey and Perspective [56.5556523013924]
  情報抽出は構造化されていないテキストから構造化された情報を導き出そうとする。 本稿では,emphLLMおよびemphLLMに基づく低リソースIEに対するニューラルアプローチについて概説する。
  論文  参考訳（メタデータ） (2022-02-16T13:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。