論文の概要: Knowledge AI: Fine-tuning NLP Models for Facilitating Scientific Knowledge Extraction and Understanding

• arxiv url: http://arxiv.org/abs/2408.04651v1
• Date: Sun, 4 Aug 2024 01:32:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 04:16:58.044720
• Title: Knowledge AI: Fine-tuning NLP Models for Facilitating Scientific Knowledge Extraction and Understanding
• Title（参考訳）: 知識AI:科学知識の抽出と理解を支援する微調整NLPモデル
• Authors: Balaji Muralidharan, Hayden Beadles, Reza Marzban, Kalyan Sashank Mupparaju,
• Abstract要約: 本研究は,Large Language Models (LLMs) の,特定の領域における科学的知識の理解と抽出における有効性について検討する。 トレーニング済みのモデルを採用し、科学領域のデータセットを微調整します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This project investigates the efficacy of Large Language Models (LLMs) in understanding and extracting scientific knowledge across specific domains and to create a deep learning framework: Knowledge AI. As a part of this framework, we employ pre-trained models and fine-tune them on datasets in the scientific domain. The models are adapted for four key Natural Language Processing (NLP) tasks: summarization, text generation, question answering, and named entity recognition. Our results indicate that domain-specific fine-tuning significantly enhances model performance in each of these tasks, thereby improving their applicability for scientific contexts. This adaptation enables non-experts to efficiently query and extract information within targeted scientific fields, demonstrating the potential of fine-tuned LLMs as a tool for knowledge discovery in the sciences.
• Abstract（参考訳）: 本研究は,大規模言語モデル(LLM)が特定の領域にまたがる科学的知識の理解と抽出に有効であることを調査し,深層学習の枠組みである知識AIを構築することを目的とする。 このフレームワークの一部として、事前訓練されたモデルを採用し、科学領域のデータセットにそれらを微調整します。 モデルは、要約、テキスト生成、質問応答、名前付きエンティティ認識の4つの重要な自然言語処理(NLP)タスクに対応している。 その結果,ドメイン固有の微調整により各タスクのモデル性能が大幅に向上し,科学的文脈への適用性が向上することが示唆された。 この適応により、非専門家は、対象とする科学分野の情報を効率的にクエリし、抽出することができ、科学における知識発見のツールとしての微調整LDMの可能性を実証することができる。

関連論文リスト

• Diagnostic Reasoning in Natural Language: Computational Model and Application [68.47402386668846]
  言語基底タスク(NL-DAR)の文脈における診断誘導推論(DAR)について検討する。 パール構造因果モデルに基づくNL-DARの新しいモデリングフレームワークを提案する。 得られたデータセットを用いて,NL-DARにおける人間の意思決定過程を解析する。
  論文  参考訳（メタデータ） (2024-09-09T06:55:37Z)
• Artificial Intuition: Efficient Classification of Scientific Abstracts [42.299140272218274]
  短い科学的テキストは、解釈を助けるための豊富な知識を持つ専門家に、密集した情報を効率的に伝達する。 このギャップに対処するために、我々は、粗いドメイン固有のラベルを生成し、適切に割り当てる新しいアプローチを開発した。 本稿では,大規模言語モデル(LLM)が,補足的知識の強化に類似したプロセスにおいて,タスクに不可欠なメタデータを提供することを示す。
  論文  参考訳（メタデータ） (2024-07-08T16:34:47Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• INDUS: Effective and Efficient Language Models for Scientific Applications [8.653859684720231]
  言語モデル(LLM)は、自然言語処理(NLP)タスクにおいて顕著な結果を示した。 我々は、地球科学、生物学、物理学、生物物理学、惑星科学、天体物理学の密接に関連する分野に合わせた総合的なLLMスイートであるINDUSを開発した。 本稿では,RoBERTa(汎用)とSCIBERT(ドメイン固有)の両方のエンコーダにおいて,新たなタスクや関心領域における既存のタスクよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-17T12:15:07Z)
• Injecting New Knowledge into Large Language Models via Supervised Fine-Tuning [13.371405067535814]
  本稿では,Large Language Models(LLMs)における知識注入手法としてのスーパーバイザードファインタニング(SFT)の有効性について検討する。 さまざまなデータセット生成戦略 – トークンベースとファクトベースのスケーリング – を比較して,モデルが新たな情報を学ぶためのトレーニングデータを生成します。 その結果、ドメイン外知識に関連するQ&Aタスクのパフォーマンスが大幅に向上した。
  論文  参考訳（メタデータ） (2024-03-30T01:56:07Z)
• Large Language Models for Scientific Information Extraction: An Empirical Study for Virology [0.0]
  談話に基づく学術コミュニケーションにおける構造的・意味的内容表現の利用を擁護する。 ウィキペディアのインフォボックスや構造化されたAmazon製品記述といったツールにヒントを得て、構造化された学術貢献要約を生成するための自動アプローチを開発しました。 以上の結果から,FLAN-T5のパラメータは現状のGPT-davinciよりも1000倍少ないことが示唆された。
  論文  参考訳（メタデータ） (2024-01-18T15:04:55Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Large Language Models for Scientific Synthesis, Inference and Explanation [56.41963802804953]
  大規模言語モデルがどのように科学的合成、推論、説明を行うことができるかを示す。 我々は,この「知識」を科学的文献から合成することで,大きな言語モデルによって強化できることを示す。 このアプローチは、大きな言語モデルが機械学習システムの予測を説明することができるというさらなる利点を持っている。
  論文  参考訳（メタデータ） (2023-10-12T02:17:59Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。