論文の概要: Large Language Models for Scientific Information Extraction: An
Empirical Study for Virology
- arxiv url: http://arxiv.org/abs/2401.10040v1
- Date: Thu, 18 Jan 2024 15:04:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 16:11:22.479105
- Title: Large Language Models for Scientific Information Extraction: An
Empirical Study for Virology
- Title(参考訳): 科学的情報抽出のための大規模言語モデル:ウイルス学の実証的研究
- Authors: Mahsa Shamsabadi and Jennifer D'Souza and S\"oren Auer
- Abstract要約: 談話に基づく学術コミュニケーションにおける構造的・意味的内容表現の利用を擁護する。
ウィキペディアのインフォボックスや構造化されたAmazon製品記述といったツールにヒントを得て、構造化された学術貢献要約を生成するための自動アプローチを開発しました。
以上の結果から,FLAN-T5のパラメータは現状のGPT-davinciよりも1000倍少ないことが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper, we champion the use of structured and semantic content
representation of discourse-based scholarly communication, inspired by tools
like Wikipedia infoboxes or structured Amazon product descriptions. These
representations provide users with a concise overview, aiding scientists in
navigating the dense academic landscape. Our novel automated approach leverages
the robust text generation capabilities of LLMs to produce structured scholarly
contribution summaries, offering both a practical solution and insights into
LLMs' emergent abilities.
For LLMs, the prime focus is on improving their general intelligence as
conversational agents. We argue that these models can also be applied
effectively in information extraction (IE), specifically in complex IE tasks
within terse domains like Science. This paradigm shift replaces the traditional
modular, pipelined machine learning approach with a simpler objective expressed
through instructions. Our results show that finetuned FLAN-T5 with 1000x fewer
parameters than the state-of-the-art GPT-davinci is competitive for the task.
- Abstract(参考訳): 本稿では,wikipedia infoboxes や structured amazon product descriptions といったツールに触発された,談話に基づく学術的コミュニケーションの構造化および意味的コンテンツ表現の利用を促進する。
これらの表現は、高密度の学術的景観をナビゲートする科学者を支援する、簡潔な概要を提供する。
我々の新しい自動的アプローチは、LLMの頑健なテキスト生成能力を活用して構造化された学術的コントリビューションサマリーを生成し、LLMの創発的能力に関する実用的な解決策と洞察を提供する。
LLMにとって、主な焦点は会話エージェントとしての一般知性の向上である。
我々は、これらのモデルは情報抽出(ie)、特に科学のようなterseドメイン内の複雑なieタスクにも効果的に適用できると主張する。
このパラダイムシフトは、従来のモジュラーでパイプライン化された機械学習アプローチを、命令を通じて表現されるより単純な目的に置き換えるものだ。
以上の結果から,FLAN-T5のパラメータは現状のGPT-davinciよりも1000倍少ないことがわかった。
関連論文リスト
- LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Large Language Models for Generative Information Extraction: A Survey [93.28676955662002]
情報抽出は、平易な自然言語テキストから構造的知識を抽出することを目的としている。
生成型大規模言語モデル(LLM)は、テキストの理解と生成において顕著な能力を示した。
LLMは生成パラダイムに基づいたIEタスクに対して実行可能なソリューションを提供する。
論文 参考訳(メタデータ) (2023-12-29T14:25:22Z) - Prompting LLMs with content plans to enhance the summarization of
scientific articles [0.19183348587701113]
我々は要約システムを導くためのプロンプト手法を考案し、実装し、評価する。
記事から抽出したキーワードのリストを要約する。
結果,特に分割を個別に要約する小さなモデルでは,性能が向上した。
論文 参考訳(メタデータ) (2023-12-13T16:57:31Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳(メタデータ) (2023-11-16T07:09:38Z) - MechGPT, a language-based strategy for mechanics and materials modeling
that connects knowledge across scales, disciplines and modalities [0.0]
我々は,Large Language Model (LLM) を用いて,質問応答対を原料から抽出し,微調整する。
得られたMechGPT LLM基盤モデルは、知識検索、様々な言語タスク、仮説生成、異なる領域にわたる知識の接続能力を調べるために、一連の計算実験で使用される。
論文 参考訳(メタデータ) (2023-10-16T14:29:35Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - Domain-specific ChatBots for Science using Embeddings [0.5687661359570725]
大規模言語モデル(LLM)は、無数のタスクを処理できる強力な機械学習システムとして登場した。
本稿では,既存の手法とソフトウェアツールを簡単に組み合わせて,ドメイン固有のチャットボットを実現する方法を紹介する。
論文 参考訳(メタデータ) (2023-06-15T15:26:20Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - Beyond Labels: Empowering Human Annotators with Natural Language
Explanations through a Novel Active-Learning Architecture [43.85335847262138]
現実世界のドメインの専門家(医師など)は、説明なしに日々のワークフローで意思決定ラベルに注釈を付けることは滅多にない。
本研究は,アノテーションのラベル付けと説明の現実的ニーズを支援するための,新しいアクティブラーニングアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-05-22T04:38:10Z) - Explaining Patterns in Data with Language Models via Interpretable
Autoprompting [143.4162028260874]
本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。
iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。
fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
論文 参考訳(メタデータ) (2022-10-04T18:32:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。