論文の概要: WisPerMed at BioLaySumm: Adapting Autoregressive Large Language Models for Lay Summarization of Scientific Articles
- arxiv url: http://arxiv.org/abs/2405.11950v2
- Date: Mon, 23 Sep 2024 12:03:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:47:09.548011
- Title: WisPerMed at BioLaySumm: Adapting Autoregressive Large Language Models for Lay Summarization of Scientific Articles
- Title(参考訳): WisPerMed at BioLaySumm:Adapting Autoregressive Large Language Models for Lay Summarization of Scientific Articles
- Authors: Tabea M. G. Pakull, Hendrik Damm, Ahmad Idrissi-Yaghir, Henning Schäfer, Peter A. Horn, Christoph M. Friedrich,
- Abstract要約: 本稿では,BioLaySumm2024共有タスクにおけるWisPerMedチームの作業について述べる。
大規模言語モデル(LLM)、特にBioMistralとLlama3は微調整され、レイサマリーを作成するために使用された。
実験によると、微調整は一般的に、最も評価されたメトリクスで最高のパフォーマンスをもたらす。
- 参考スコア(独自算出の注目度): 0.41716369948557463
- License:
- Abstract: This paper details the efforts of the WisPerMed team in the BioLaySumm2024 Shared Task on automatic lay summarization in the biomedical domain, aimed at making scientific publications accessible to non-specialists. Large language models (LLMs), specifically the BioMistral and Llama3 models, were fine-tuned and employed to create lay summaries from complex scientific texts. The summarization performance was enhanced through various approaches, including instruction tuning, few-shot learning, and prompt variations tailored to incorporate specific context information. The experiments demonstrated that fine-tuning generally led to the best performance across most evaluated metrics. Few-shot learning notably improved the models' ability to generate relevant and factually accurate texts, particularly when using a well-crafted prompt. Additionally, a Dynamic Expert Selection (DES) mechanism to optimize the selection of text outputs based on readability and factuality metrics was developed. Out of 54 participants, the WisPerMed team reached the 4th place, measured by readability, factuality, and relevance. Determined by the overall score, our approach improved upon the baseline by approx. 5.5 percentage points and was only approx 1.5 percentage points behind the first place.
- Abstract(参考訳): 本論文は、バイオ医療分野におけるレイ・サマリゼーションの共有タスクにおけるWisPerMedチームの取り組みを詳述する。
大規模言語モデル(LLM)、特にBioMistralとLlama3は微調整され、複雑な科学的なテキストからレイサマリーを作成するために使用された。
要約性能は、インストラクションチューニング、少数ショット学習、特定のコンテキスト情報を組み込むように調整されたプロンプト変奏法など、様々なアプローチによって強化された。
実験の結果、微調整は一般的に、最も評価された指標で最高のパフォーマンスをもたらすことが示された。
特に巧妙なプロンプトを使用する場合、いくつかのショット学習により、モデルが関連性があり、事実的に正確なテキストを生成する能力が向上した。
さらに,読みやすさと実測値に基づいてテキスト出力の選択を最適化する動的エキスパート選択(DES)機構を開発した。
54人の参加者のうち、WisPerMedチームは可読性、事実性、関連性から4位に達した。
総点数から判断すると,本手法は近似によってベースラインを改良した。
5.5ポイントで1位以下は1.5ポイントしかなかった。
関連論文リスト
- MMSci: A Multimodal Multi-Discipline Dataset for PhD-Level Scientific Comprehension [59.41495657570397]
我々は、Nature Communications Journalsに掲載されたオープンアクセス科学論文から、マルチモーダルで多分野のデータセットを収集した。
このデータセットは72の科学分野にまたがっており、多様性と品質の両方を保証している。
科学的な数字や内容を理解する上でLMMの能力を総合的に評価するために,様々なタスクと設定のベンチマークを作成した。
論文 参考訳(メタデータ) (2024-07-06T00:40:53Z) - Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。
Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
論文 参考訳(メタデータ) (2024-07-05T20:25:04Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。
SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
論文 参考訳(メタデータ) (2024-06-10T21:22:08Z) - WisPerMed at "Discharge Me!": Advancing Text Generation in Healthcare with Large Language Models, Dynamic Expert Selection, and Priming Techniques on MIMIC-IV [0.38084074204911494]
本研究は, アウトレット・サマリーの「Brief Hospital Course」と「Discharge Instructions」を自動生成するために, 最先端の言語モデルを活用することを目的としている。
医療施設において, 自動化がドキュメンテーションの精度を向上し, クリニックのバーンアウトを緩和し, 運用効率を向上させる方法について検討した。
論文 参考訳(メタデータ) (2024-05-18T10:56:45Z) - Classification and Clustering of Sentence-Level Embeddings of Scientific Articles Generated by Contrastive Learning [1.104960878651584]
提案手法は,科学論文から文レベルの埋め込みを生成するための微調整変換言語モデルで構成されている。
対照的な学習で3つのデータセットでモデルをトレーニングしました。
比較学習と下流タスクへの埋め込みを併用した微調整文変換器は,学術論文における文分類への実現可能なアプローチであることを示す。
論文 参考訳(メタデータ) (2024-03-30T02:52:14Z) - Information-Theoretic Distillation for Reference-less Summarization [67.51150817011617]
本稿では,要約のための情報理論的目的に基づいて,強力な要約器を蒸留する新しい枠組みを提案する。
我々は,教師モデルとしてPythia-2.8Bから出発する。
我々は,ChatGPTと競合する5億8800万のパラメータしか持たないコンパクトだが強力な要約器に到達した。
論文 参考訳(メタデータ) (2024-03-20T17:42:08Z) - Exploring the Effectiveness of Instruction Tuning in Biomedical Language
Processing [19.41164870575055]
本研究では,バイオメディカル言語処理における指導指導の可能性について検討する。
約20,000ドルのインストラクション中心のサンプルからなるデータセットで訓練された包括的,命令ベースのモデルを提案する。
論文 参考訳(メタデータ) (2023-12-31T20:02:10Z) - Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳(メタデータ) (2023-12-21T14:26:57Z) - Large Language Models and Prompt Engineering for Biomedical Query
Focused Multi-Document Summarisation [0.565658124285176]
本稿では, バイオメディカルクエリに着目した多文書要約におけるプロンプトエンジニアリングとGPT-3.5の使用について報告する。
GPT-3.5と適切なプロンプトを用いて,システムトップのROUGE-F1は,バイオメディカルな質問に対する短期的な回答を得ることが課題である。
論文 参考訳(メタデータ) (2023-11-09T06:45:04Z) - Neural Summarization of Electronic Health Records [8.784162652042957]
本研究では,4つの最先端ニューラルネットワーク要約モデルを用いて,放電要約の様々な部分の自動生成の実現可能性について検討した。
従来の微調整言語モデルでは、レポート全体を要約する性能が向上した。
論文 参考訳(メタデータ) (2023-05-24T15:05:53Z) - PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。
LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。
PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文 参考訳(メタデータ) (2023-04-27T18:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。