論文の概要: Flexible, Model-Agnostic Method for Materials Data Extraction from Text Using General Purpose Language Models

• arxiv url: http://arxiv.org/abs/2302.04914v3
• Date: Wed, 12 Jun 2024 14:25:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 01:52:33.871042
• Title: Flexible, Model-Agnostic Method for Materials Data Extraction from Text Using General Purpose Language Models
• Title（参考訳）: 汎用言語モデルを用いたテキストからの材料データ抽出のためのフレキシブル・モデル非依存手法
• Authors: Maciej P. Polak, Shrey Modi, Anna Latosinska, Jinming Zhang, Ching-Wen Wang, Shaonan Wang, Ayan Deep Hazra, Dane Morgan,
• Abstract要約: 大規模言語モデル(LLM)は、人間がテキストと対話する方法を変えつつある。 本研究では,全文研究論文から資料データを抽出する簡便かつ効率的な手法を実証する。 このアプローチでは、抽出されたプロパティに関するコーディングや事前の知識は最小限から不要である。 結果のデータベースにおいて、高いリコールとほぼ完璧な精度を提供する。
• 参考スコア（独自算出の注目度）: 5.748877272090607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate and comprehensive material databases extracted from research papers are crucial for materials science and engineering, but their development requires significant human effort. With large language models (LLMs) transforming the way humans interact with text, LLMs provide an opportunity to revolutionize data extraction. In this study, we demonstrate a simple and efficient method for extracting materials data from full-text research papers leveraging the capabilities of LLMs combined with human supervision. This approach is particularly suitable for mid-sized databases and requires minimal to no coding or prior knowledge about the extracted property. It offers high recall and nearly perfect precision in the resulting database. The method is easily adaptable to new and superior language models, ensuring continued utility. We show this by evaluating and comparing its performance on GPT-3 and GPT-3.5/4 (which underlie ChatGPT), as well as free alternatives such as BART and DeBERTaV3. We provide a detailed analysis of the method's performance in extracting sentences containing bulk modulus data, achieving up to 90% precision at 96% recall, depending on the amount of human effort involved. We further demonstrate the method's broader effectiveness by developing a database of critical cooling rates for metallic glasses over twice the size of previous human curated databases.
• Abstract（参考訳）: 研究論文から抽出された正確な総合的な資料データベースは、材料科学と工学にとって不可欠であるが、その開発には多大な人的努力が必要である。 大きな言語モデル(LLM)が人間がテキストと対話する方法を変えることにより、LLMはデータ抽出に革命をもたらす機会を提供する。 本研究では,LLMの能力と人間の監督を併用したフルテキスト研究論文から資料データを簡易かつ効率的に抽出する方法を実証する。 このアプローチは特に中規模のデータベースに適しており、抽出されたプロパティに関するコーディングや事前の知識を最小限に必要とします。 結果のデータベースにおいて、高いリコールとほぼ完璧な精度を提供する。 この方法は、新しい言語モデルや優れた言語モデルに容易に適応でき、継続的な実用性を保証する。 本稿では,GPT-3およびGPT-3.5/4(ChatGPTの下位)およびBARTやDeBERTaV3などのフリー代替品の性能評価と比較を行った。 本研究では, バルク率データを含む文を抽出し, 96%のリコールで最大90%の精度を達成し, 人間の作業量に応じて詳細な解析を行った。 さらに, 従来のヒトキュレートデータベースの2倍以上の大きさの金属ガラスに対して, 臨界冷却率のデータベースを開発することにより, 提案手法の広範な効果を実証する。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Enhancing SLM via ChatGPT and Dataset Augmentation [0.3844771221441211]
  我々は,大言語モデル (LLMs) と小言語モデル (SLMs) のパフォーマンスギャップを埋めるために,知識蒸留技術と合成データセット拡張を用いている。 提案手法は,情報抽出と情報推論という2種類の理性生成を伴い,ANLIデータセットを充実させる。 その結果, 合成合理化によって自然言語の理解能力が向上し, ANLIデータセット上での分類精度が1.3%, 2.3%向上することが判明した。
  論文  参考訳（メタデータ） (2024-09-19T09:24:36Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Enhancing Knowledge Retrieval with In-Context Learning and Semantic Search through Generative AI [3.9773527114058855]
  本稿では,大規模言語モデルの生成能力とベクトルデータベースの高速かつ正確な検索能力を組み合わせた新しい手法を提案する。 開発したGTR(Generative Text Retrieval)は,非構造化データと構造化データの両方に適用可能である。 改良されたモデルであるGenerative Tabular Text Retrieval (GTR-T) は、大規模データベースクエリの効率を実証した。
  論文  参考訳（メタデータ） (2024-06-13T23:08:06Z)
• Leveraging Large Language Models for Web Scraping [0.0]
  本研究では,言語生成用に設計したRAGモデルに対して,汎用的な高精度なデータスクレイピング手法について検討する。 よりモジュール的で解釈可能な方法で知識をキャプチャするために、私たちは、潜在的な知識検索機能を備えた事前訓練された言語モデルを使用します。
  論文  参考訳（メタデータ） (2024-06-12T14:15:15Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Dynamic In-context Learning with Conversational Models for Data Extraction and Materials Property Prediction [0.0]
  PropertyExtractorは、ゼロショットと数ショットのインコンテキスト学習をブレンドしたオープンソースのツールである。 本試験では, 約9%の誤差率で95%を超える精度とリコールを実証した。
  論文  参考訳（メタデータ） (2024-05-16T21:15:51Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• Extracting Accurate Materials Data from Research Papers with Conversational Language Models and Prompt Engineering [0.0]
  ChatExtractは、初期作業とバックグラウンドを最小限にして、非常に正確なデータ抽出を完全に自動化することができる。 材料データに対するテストでは、最高の会話型LLMから90%近い精度とリコールが得られます。
  論文  参考訳（メタデータ） (2023-03-07T17:54:53Z)
• Bag of Tricks for Training Data Extraction from Language Models [98.40637430115204]
  公開データセットを用いてトレーニングデータ抽出を改善するための手法とベンチマーク手法について検討する。 実験結果から,これまで見過ごされていたいくつかのトリックが,トレーニングデータ抽出の成功に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2023-02-09T06:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。