論文の概要: Structured Extraction of Process Structure Properties Relationships in Materials Science
- arxiv url: http://arxiv.org/abs/2504.03979v1
- Date: Fri, 04 Apr 2025 22:44:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-16 06:56:12.288121
- Title: Structured Extraction of Process Structure Properties Relationships in Materials Science
- Title（参考訳）: 材料科学におけるプロセス構造特性関係の構造化抽出
- Authors: Amit K Verma, Zhisong Zhang, Junwon Seo, Robin Kuo, Runbo Jiang, Emma Strubell, Anthony D Rollett,
- Abstract要約: 科学文献からプロセス-構造-プロパティ関係を抽出する新しいアノテーションスキーマを提案する。
本稿では,2つの異なるドメインからアノテーションを抽出した128の抽象的なデータセットを用いて,このアプローチの有用性を実証する。
以上の結果から,細調整LDMは,領域I上のBERT-CRFベースライン上でのエンティティ抽出性能を著しく向上する可能性が示唆された。
- 参考スコア（独自算出の注目度）: 10.10021626682367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the advent of large language models (LLMs), the vast unstructured text within millions of academic papers is increasingly accessible for materials discovery, although significant challenges remain. While LLMs offer promising few- and zero-shot learning capabilities, particularly valuable in the materials domain where expert annotations are scarce, general-purpose LLMs often fail to address key materials-specific queries without further adaptation. To bridge this gap, fine-tuning LLMs on human-labeled data is essential for effective structured knowledge extraction. In this study, we introduce a novel annotation schema designed to extract generic process-structure-properties relationships from scientific literature. We demonstrate the utility of this approach using a dataset of 128 abstracts, with annotations drawn from two distinct domains: high-temperature materials (Domain I) and uncertainty quantification in simulating materials microstructure (Domain II). Initially, we developed a conditional random field (CRF) model based on MatBERT, a domain-specific BERT variant, and evaluated its performance on Domain I. Subsequently, we compared this model with a fine-tuned LLM (GPT-4o from OpenAI) under identical conditions. Our results indicate that fine-tuning LLMs can significantly improve entity extraction performance over the BERT-CRF baseline on Domain I. However, when additional examples from Domain II were incorporated, the performance of the BERT-CRF model became comparable to that of the GPT-4o model. These findings underscore the potential of our schema for structured knowledge extraction and highlight the complementary strengths of both modeling approaches.
- Abstract（参考訳）: 大規模言語モデル (LLMs) の出現に伴い、数百万の学術論文の中の膨大な非構造化テキストは、資料発見にますますアクセスしやすくなっているが、大きな課題は残っている。
LLMは有望な数とゼロショットの学習機能を提供するが、特にエキスパートアノテーションが不足している材料領域では、汎用LLMは、さらなる適応なしに重要な材料固有のクエリに対処できないことが多い。
このギャップを埋めるためには、人間のラベル付きデータに対する微調整 LLM が効果的な構造化知識抽出に不可欠である。
本研究では,科学文献からプロセス-構造-プロパティ関係の汎用的抽出を目的とした,新しいアノテーションスキーマを提案する。
本研究では, 高温材料 (Domain I) と, シミュレーション材料 (Domain II) における不確実性定量化 (Domain II) の2つの異なる領域から抽出されたアノテーションを用いた128個の抽象的なデータセットを用いて, このアプローチの有用性を実証する。
当初,ドメイン固有のBERT変種であるTabBERTに基づく条件付きランダムフィールド(CRF)モデルを開発し,その性能をDomain Iで評価した。
提案手法は,ドメインI上のBERT-CRFベースラインを微調整することにより,エンティティ抽出性能を大幅に向上させることができることを示すが,ドメインIIから追加の例を取り入れた場合,BERT-CRFモデルの性能はGPT-4oモデルに匹敵する。
これらの結果は、構造化知識抽出のためのスキーマの可能性を強調し、両方のモデリング手法の相補的な強みを強調している。
関連論文リスト
- Enhancing Domain-Specific Encoder Models with LLM-Generated Data: How to Leverage Ontologies, and How to Do Without Them [9.952432291248954]
限られたデータを持つ領域におけるエンコーダモデルの連続事前学習におけるLLM生成データの利用について検討する。
侵入生物学における埋め込みモデルの性能を評価するためのベンチマークをコンパイルする。
提案手法は,小さなエンコーダモデルのドメイン固有理解を向上させるために,完全自動パイプラインを実現することを実証した。
論文 参考訳（メタデータ） (2025-03-27T21:51:24Z) - Causal Discovery from Data Assisted by Large Language Models [50.193740129296245]
知識駆動発見のために、実験データと事前のドメイン知識を統合することが不可欠である。
本稿では、高分解能走査透過電子顕微鏡(STEM)データと大規模言語モデル(LLM)からの洞察を組み合わせることで、このアプローチを実証する。
SmドープBiFeO3(SmBFO)におけるChatGPTをドメイン固有文献に微調整することにより、構造的、化学的、分極的自由度の間の因果関係をマッピングするDAG(Directed Acyclic Graphs)の隣接行列を構築する。
論文 参考訳（メタデータ） (2025-03-18T02:14:49Z) - Clear Minds Think Alike: What Makes LLM Fine-tuning Robust? A Study of Token Perplexity [61.48338027901318]
LLM生成データによる微調整により,目標タスク性能が向上し,ドメイン外劣化の低減が図られる。
LLM生成トレーニングデータによって与えられる優れたOODロバスト性について、これが最初の力学的説明である。
論文 参考訳（メタデータ） (2025-01-24T08:18:56Z) - Aggregated Knowledge Model: Enhancing Domain-Specific QA with Fine-Tuned and Retrieval-Augmented Generation Models [0.0]
本稿では,クローズドドメイン質問応答システム(QA)の新たなアプローチを提案する。
ローレンス・バークレー国立研究所(LBL)科学情報技術(ScienceIT)ドメインの特定のニーズに焦点を当てている。
論文 参考訳（メタデータ） (2024-10-24T00:49:46Z) - Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。
性能ギャップを実証的に説明するための一連の実験を考案する。
論文 参考訳（メタデータ） (2024-09-27T05:06:43Z) - A Few-Shot Approach for Relation Extraction Domain Adaptation using Large Language Models [1.3927943269211591]
本稿では,大規模言語モデルの文脈内学習機能を活用してデータアノテーションを実行する実験を行う。
提案手法は,構造化プロンプトと最小限のエキスパートアノテーションを併用した数発の学習戦略を用いることで,科学的なKG生成モデルのドメイン適応を支援することができることを示す。
論文 参考訳（メタデータ） (2024-08-05T11:06:36Z) - ProgGen: Generating Named Entity Recognition Datasets Step-by-step with Self-Reflexive Large Language Models [25.68491572293656]
大規模言語モデルは、名前付きエンティティ認識のような構造化された知識抽出タスクにおいて不足する。
本稿では,より優れたNERデータセットを生成するため,LCMを質素なNER能力で活用するための革新的で費用効率のよい戦略について検討する。
論文 参考訳（メタデータ） (2024-03-17T06:12:43Z) - Learning to Extract Structured Entities Using Language Models [52.281701191329]
機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。
タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。
我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
論文 参考訳（メタデータ） (2024-02-06T22:15:09Z) - Mining experimental data from Materials Science literature with Large Language Models: an evaluation study [1.9849264945671101]
本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。
我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。
これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
論文 参考訳（メタデータ） (2024-01-19T23:00:31Z) - EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models
with Semi-structured Data [67.8302955948861]
大規模コーパスで事前訓練された大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示した。
これらのモデルを特定のドメインに適用しても、ドメイン知識の欠如など、大きな課題が生じる。
我々は、Eコマースドメインを例として用いたLLMのドメイン固有の継続事前学習に焦点を当てた。
論文 参考訳（メタデータ） (2023-12-25T11:31:47Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。