論文の概要: Structured information extraction from complex scientific text with fine-tuned large language models

• arxiv url: http://arxiv.org/abs/2212.05238v1
• Date: Sat, 10 Dec 2022 07:51:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 17:16:30.867620
• Title: Structured information extraction from complex scientific text with fine-tuned large language models
• Title（参考訳）: 微調整大言語モデルを用いた複雑な科学テキストからの構造化情報抽出
• Authors: Alexander Dunn, John Dagdelen, Nicholas Walker, Sanghoon Lee, Andrew S. Rosen, Gerbrand Ceder, Kristin Persson, Anubhav Jain
• Abstract要約: そこで本研究では,共振器認識と関係抽出のための簡単なシーケンス・ツー・シーケンス手法を提案する。 このアプローチは、約500組のプロンプトで微調整された、事前訓練済みの大規模言語モデル(LLM)であるGPT-3を利用する。 このアプローチは、構造化されていないテキストから抽出された構造化知識の大規模なデータベースを得るための、シンプルで、アクセス可能で、非常に柔軟な経路を示す。
• 参考スコア（独自算出の注目度）: 55.96705756327738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Intelligently extracting and linking complex scientific information from unstructured text is a challenging endeavor particularly for those inexperienced with natural language processing. Here, we present a simple sequence-to-sequence approach to joint named entity recognition and relation extraction for complex hierarchical information in scientific text. The approach leverages a pre-trained large language model (LLM), GPT-3, that is fine-tuned on approximately 500 pairs of prompts (inputs) and completions (outputs). Information is extracted either from single sentences or across sentences in abstracts/passages, and the output can be returned as simple English sentences or a more structured format, such as a list of JSON objects. We demonstrate that LLMs trained in this way are capable of accurately extracting useful records of complex scientific knowledge for three representative tasks in materials chemistry: linking dopants with their host materials, cataloging metal-organic frameworks, and general chemistry/phase/morphology/application information extraction. This approach represents a simple, accessible, and highly-flexible route to obtaining large databases of structured knowledge extracted from unstructured text. An online demo is available at http://www.matscholar.com/info-extraction.
• Abstract（参考訳）: 非構造化テキストから複雑な科学情報をインテリジェントに抽出・リンクすることは、特に自然言語処理の経験の浅い人々にとって難しい課題である。 本稿では,科学テキストにおける複雑な階層情報に対するエンティティ認識と関係抽出の結合に対する単純なシーケンシャル・ツー・シーケンスアプローチを提案する。 このアプローチは、約500組のプロンプト(入力)とコンプリート(出力)で微調整された事前学習された大型言語モデル(llm)gpt-3を活用する。 情報は、単一文から、あるいは、抽象/パッセージで全文から抽出され、出力は、単純な英語の文か、jsonオブジェクトのリストのようなより構造化されたフォーマットとして返される。 この方法で訓練されたLSMは, 物質化学における3つの代表的な課題, ドーパントとホスト物質を結びつけること, 金属-有機系のカタログ化, 一般化学/相・形態・応用情報抽出という, 複雑な科学知識の有用な記録を正確に抽出できることを実証する。 このアプローチは、構造化されていないテキストから抽出された構造化知識の大規模なデータベースを得るための、シンプルで、アクセス可能で、非常に柔軟な経路を示す。 オンラインデモはhttp://www.matscholar.com/info-extractionで公開されている。

関連論文リスト

• MatViX: Multimodal Information Extraction from Visually Rich Articles [6.349779979863784]
  材料科学では、研究論文から構造化情報を抽出することで、新しい素材の発見を加速することができる。 textscMatViXは、324ドルのフル長の調査記事と1688ドルの複雑な構造化ファイルからなるベンチマークです。 これらのファイルは、テキスト、テーブル、フィギュアからフル長の文書から抽出され、MIEにとって包括的な課題となる。
  論文  参考訳（メタデータ） (2024-10-27T16:13:58Z)
• Synthetic continued pretraining [29.6872772403251]
  ドメイン固有文書の小さなコーパス上での合成継続事前学習を提案する。 合成データ拡張アルゴリズムであるEntiGraphでこの提案をインスタンス化する。 合成データ拡張が、よりデータ効率のよい学習を可能にするために、どのように知識を"再編成"できるかを示す。
  論文  参考訳（メタデータ） (2024-09-11T17:21:59Z)
• Struct-X: Enhancing Large Language Models Reasoning with Structured Data [38.558614152006975]
  構造Xは5つの重要なフェーズを通して動作する:read-model-fill-reflect-reason' 構造化データをグラフ埋め込みを用いて位相空間にエンコードする。 行方不明のエンティティ情報を知識検索モジュールで埋める。 最後のフェーズでは、選択したトークンでトポロジネットワークを構築する。
  論文  参考訳（メタデータ） (2024-07-17T13:06:25Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
  大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。 既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。 複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
  論文  参考訳（メタデータ） (2023-09-17T04:18:39Z)
• Syntactic Complexity Identification, Measurement, and Reduction Through Controlled Syntactic Simplification [0.0]
  本稿では,複合文と複合文を簡易文の集合に分割・言い換える,古典的な構文的依存性に基づく手法を提案する。 また,文の構文的複雑さを同定し,測定するアルゴリズムも導入した。 この研究は、WSDM-2023 Conferenceにおいて、Learning with Knowledge Graphs (IWLKG) に関する国際ワークショップで受け入れられ、発表された。
  論文  参考訳（メタデータ） (2023-04-16T13:13:58Z)
• ReSel: N-ary Relation Extraction from Scientific Text and Tables by Learning to Retrieve and Select [53.071352033539526]
  学術論文からN-ary関係を抽出する問題について考察する。 提案手法であるReSelは,このタスクを2段階のプロシージャに分解する。 3つの科学的情報抽出データセットに対する実験により、ReSelは最先端のベースラインを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-10-26T02:28:02Z)
• Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
  本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-04T18:32:14Z)
• HiStruct+: Improving Extractive Text Summarization with Hierarchical Structure Information [0.6443952406204634]
  本稿では,階層構造情報を抽出要約モデルに明示的に記述,抽出,エンコード,注入する新しい手法を提案する。 3つのデータセット(CNN/DailyMail、PubMed、arXivなど)のさまざまな実験的な設定を使用して、HiStruct+モデルは、一括して強力なベースラインをパフォーマンスします。
  論文  参考訳（メタデータ） (2022-03-17T21:49:26Z)
• ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
  実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。 我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。 本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
  論文  参考訳（メタデータ） (2020-04-30T14:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。