論文の概要: Mining experimental data from Materials Science literature with Large Language Models

• arxiv url: http://arxiv.org/abs/2401.11052v1
• Date: Fri, 19 Jan 2024 23:00:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 18:19:21.785412
• Title: Mining experimental data from Materials Science literature with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた材料科学文献からの実験データマイニング
• Authors: Luca Foppiano, Guillaume Lambard, Toshiyuki Amagasa, Masashi Ishii
• Abstract要約: 本研究は,高度大言語モデル(LLM)の能力を評価することを目的としている。 我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。 NERでは、LLMはゼロショットプロンプトでベースラインを上回り、少数ショットプロンプトで限定的な改善しか示さない。 REの場合、GPT-3.5-Turboは適切な戦略で微調整され、ベースラインを含む全てのモデルより優れている。
• 参考スコア（独自算出の注目度）: 2.1683895991674516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study is dedicated to evaluating the capabilities of advanced large language models (LLMs) such as GPT-3.5-Turbo, GPT-4, and GPT-4-Turbo in the extraction of structured information from scientific documents within the field of materials science. We introduce a novel methodology for the comparative analysis of intricate material expressions, emphasising the standardisation of chemical formulas to tackle the complexities inherent in materials science information assessment. To this end, we primarily focus on two critical tasks of information extraction: (i) a named entity recognition (NER) of studied materials and physical properties and (ii) a relation extraction (RE) between these entities. The performance of LLMs in executing these tasks is benchmarked against traditional models based on the BERT architecture and rule-based approaches. For NER, LLMs fail to outperform the baseline with zero-shot prompting and exhibit only limited improvement with few-shot prompting. However, for RE, a GPT-3.5-Turbo fine-tuned with the appropriate strategy outperforms all models, including the baseline. Without any fine-tuning, GPT-4 and GPT-4-Turbo display remarkable reasoning and relationship extraction capabilities after being provided with merely a couple of examples, surpassing the baseline. Overall, the results suggest that although LLMs demonstrate relevant reasoning skills in connecting concepts, for tasks requiring extracting complex domain-specific entities like materials, specialised models are currently a better choice.
• Abstract（参考訳）: 本研究は,GPT-3.5-Turbo,GPT-4,GPT-4-Turboといった先進的な大規模言語モデル(LLM)が,材料科学分野における科学資料から構造化情報を取り出す能力を評価することを目的としている。 材料科学情報アセスメントに内在する複雑さに取り組むための化学式の標準化に重点を置いた,複雑な材料表現の比較分析のための新しい手法を提案する。 この目的のために、情報抽出の2つの重要なタスクに重点を置きます。 一 研究資料及び物性の命名された実体認識(NER) (ii)これらのエンティティ間の関係抽出(RE)。 これらのタスクの実行におけるLCMのパフォーマンスは、BERTアーキテクチャとルールベースのアプローチに基づく従来のモデルと比較される。 NERでは、LLMはゼロショットプロンプトでベースラインを上回り、少数ショットプロンプトで限定的な改善しか示さない。 しかしREの場合、GPT-3.5-Turboは適切な戦略で微調整され、ベースラインを含む全てのモデルより優れている。 微調整なしでは、GPT-4とGPT-4-Turboは、わずか2つの例が与えられた後に顕著な推論と関係抽出能力を示し、ベースラインを超えた。 全体としては、LLMは概念を接続する上で関連する推論スキルを示すが、材料のような複雑なドメイン固有のエンティティを抽出する必要があるタスクについては、現在、特殊化モデルの方が良い選択である。

関連論文リスト

• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• Evaluating Large Language Models for Structured Science Summarization in the Open Research Knowledge Graph [18.41743815836192]
  本稿では,構造化科学要約のプロパティを自動提案するために,Large Language Models (LLMs) を提案する。 本研究は,ORKGが手作業でキュレートした特性と,前述の最先端のLCMによって生成された特性とを総合的に比較した。 全体として、LLMは科学を構造化するためのレコメンデーションシステムとしての可能性を示しているが、科学的タスクや人間の専門知識の模倣との整合性を改善するために、さらなる微調整が推奨されている。
  論文  参考訳（メタデータ） (2024-05-03T14:03:04Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Accelerated materials language processing enabled by GPT [5.518792725397679]
  我々は材料言語処理のための生成変換器(GPT)対応パイプラインを開発した。 まず、関連する文書をスクリーニングするためのGPT対応文書分類手法を開発する。 第二に、NERタスクでは、エンティティ中心のプロンプトを設計し、そのほとんどを学習することで、パフォーマンスが改善された。 最後に,GPT対応抽出QAモデルを開発し,性能の向上とアノテーションの自動修正の可能性を示す。
  論文  参考訳（メタデータ） (2023-08-18T07:31:13Z)
• MaScQA: A Question Answering Dataset for Investigating Materials Science Knowledge of Large Language Models [29.70397245624547]
  この研究は、材料学生の知識とスキルを必要とする材料領域から、650の挑戦的な質問のデータセットをキュレートする。 GPT-4はGPT-3.5と比較して最高の性能(62%の精度)を示した。
  論文  参考訳（メタデータ） (2023-08-17T17:51:05Z)
• Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
  大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。 外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。 我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:00:00Z)
• LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities [66.36633042421387]
  知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。 我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
  論文  参考訳（メタデータ） (2023-05-22T15:56:44Z)
• Large Language Models as Master Key: Unlocking the Secrets of Materials Science with GPT [9.33544942080883]
  本稿では,物質科学におけるデバイスレベルでの情報抽出の複雑さに対処するため,構造化情報推論(SII)と呼ばれる自然言語処理(NLP)タスクを提案する。 我々は、既存のペロブスカイト型太陽電池FAIRデータセットに91.8%のF1スコアでGPT-3をチューニングし、リリース以来のデータでデータセットを拡張した。 また、太陽電池の電気性能を予測する実験を設計し、大規模言語モデル(LLM)を用いてターゲットパラメータを持つ材料や装置の設計を行った。
  論文  参考訳（メタデータ） (2023-04-05T04:01:52Z)
• Information Extraction in Low-Resource Scenarios: Survey and Perspective [56.5556523013924]
  情報抽出は構造化されていないテキストから構造化された情報を導き出そうとする。 本稿では,emphLLMおよびemphLLMに基づく低リソースIEに対するニューラルアプローチについて概説する。
  論文  参考訳（メタデータ） (2022-02-16T13:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。