論文の概要: WisPerMed at BioLaySumm: Adapting Autoregressive Large Language Models for Lay Summarization of Scientific Articles

• arxiv url: http://arxiv.org/abs/2405.11950v2
• Date: Mon, 23 Sep 2024 12:03:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 02:30:11.203876
• Title: WisPerMed at BioLaySumm: Adapting Autoregressive Large Language Models for Lay Summarization of Scientific Articles
• Title（参考訳）: WisPerMed at BioLaySumm:Adapting Autoregressive Large Language Models for Lay Summarization of Scientific Articles
• Authors: Tabea M. G. Pakull, Hendrik Damm, Ahmad Idrissi-Yaghir, Henning Schäfer, Peter A. Horn, Christoph M. Friedrich,
• Abstract要約: 本稿では,BioLaySumm2024共有タスクにおけるWisPerMedチームの作業について述べる。 大規模言語モデル(LLM)、特にBioMistralとLlama3は微調整され、レイサマリーを作成するために使用された。 実験によると、微調整は一般的に、最も評価されたメトリクスで最高のパフォーマンスをもたらす。
• 参考スコア（独自算出の注目度）: 0.41716369948557463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper details the efforts of the WisPerMed team in the BioLaySumm2024 Shared Task on automatic lay summarization in the biomedical domain, aimed at making scientific publications accessible to non-specialists. Large language models (LLMs), specifically the BioMistral and Llama3 models, were fine-tuned and employed to create lay summaries from complex scientific texts. The summarization performance was enhanced through various approaches, including instruction tuning, few-shot learning, and prompt variations tailored to incorporate specific context information. The experiments demonstrated that fine-tuning generally led to the best performance across most evaluated metrics. Few-shot learning notably improved the models' ability to generate relevant and factually accurate texts, particularly when using a well-crafted prompt. Additionally, a Dynamic Expert Selection (DES) mechanism to optimize the selection of text outputs based on readability and factuality metrics was developed. Out of 54 participants, the WisPerMed team reached the 4th place, measured by readability, factuality, and relevance. Determined by the overall score, our approach improved upon the baseline by approx. 5.5 percentage points and was only approx 1.5 percentage points behind the first place.
• Abstract（参考訳）: 本論文は、バイオ医療分野におけるレイ・サマリゼーションの共有タスクにおけるWisPerMedチームの取り組みを詳述する。 大規模言語モデル(LLM)、特にBioMistralとLlama3は微調整され、複雑な科学的なテキストからレイサマリーを作成するために使用された。 要約性能は、インストラクションチューニング、少数ショット学習、特定のコンテキスト情報を組み込むように調整されたプロンプト変奏法など、様々なアプローチによって強化された。 実験の結果、微調整は一般的に、最も評価された指標で最高のパフォーマンスをもたらすことが示された。 特に巧妙なプロンプトを使用する場合、いくつかのショット学習により、モデルが関連性があり、事実的に正確なテキストを生成する能力が向上した。 さらに,読みやすさと実測値に基づいてテキスト出力の選択を最適化する動的エキスパート選択(DES)機構を開発した。 54人の参加者のうち、WisPerMedチームは可読性、事実性、関連性から4位に達した。 総点数から判断すると,本手法は近似によってベースラインを改良した。 5.5ポイントで1位以下は1.5ポイントしかなかった。

関連論文リスト

• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Pre-training data selection for biomedical domain adaptation using journal impact metrics [0.0]
  我々は, PubMed トレーニングセットの各種サブセット上で, BERT を継続的に事前学習することにより, 雑誌のインパクト測定と実験を行う。 本研究の結果から,ジャーナルインパクトメトリクスを用いたプルーニングは効率的ではないことが示唆された。しかし,より少ない抽象度を用いた事前学習(ただし,同じ数のトレーニングステップで)は,必ずしも結果のモデルの性能を低下させるわけではない。
  論文  参考訳（メタデータ） (2024-09-04T13:59:48Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• WisPerMed at "Discharge Me!": Advancing Text Generation in Healthcare with Large Language Models, Dynamic Expert Selection, and Priming Techniques on MIMIC-IV [0.38084074204911494]
  本研究は, アウトレット・サマリーの「Brief Hospital Course」と「Discharge Instructions」を自動生成するために, 最先端の言語モデルを活用することを目的としている。 医療施設において, 自動化がドキュメンテーションの精度を向上し, クリニックのバーンアウトを緩和し, 運用効率を向上させる方法について検討した。
  論文  参考訳（メタデータ） (2024-05-18T10:56:45Z)
• Information-Theoretic Distillation for Reference-less Summarization [67.51150817011617]
  本稿では,要約のための情報理論的目的に基づいて,強力な要約器を蒸留する新しい枠組みを提案する。 我々は,教師モデルとしてPythia-2.8Bから出発する。 我々は,ChatGPTと競合する5億8800万のパラメータしか持たないコンパクトだが強力な要約器に到達した。
  論文  参考訳（メタデータ） (2024-03-20T17:42:08Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Large Language Models and Prompt Engineering for Biomedical Query Focused Multi-Document Summarisation [0.565658124285176]
  本稿では, バイオメディカルクエリに着目した多文書要約におけるプロンプトエンジニアリングとGPT-3.5の使用について報告する。 GPT-3.5と適切なプロンプトを用いて,システムトップのROUGE-F1は,バイオメディカルな質問に対する短期的な回答を得ることが課題である。
  論文  参考訳（メタデータ） (2023-11-09T06:45:04Z)
• Neural Summarization of Electronic Health Records [8.784162652042957]
  本研究では,4つの最先端ニューラルネットワーク要約モデルを用いて,放電要約の様々な部分の自動生成の実現可能性について検討した。 従来の微調整言語モデルでは、レポート全体を要約する性能が向上した。
  論文  参考訳（メタデータ） (2023-05-24T15:05:53Z)
• A systematic evaluation of large language models for biomedical natural language processing: benchmarks, baselines, and recommendations [22.668383945059762]
  そこで本研究では,12個のBioNLPデータセットにまたがる4つの代表言語モデル(LLM)を体系的に評価する。 評価は、ゼロショット、静的少数ショット、動的Kアネレスト、微調整の4つの設定で行われる。 これらのモデルと最先端(SOTA)アプローチを比較し、細い(ドメイン固有の)BERTモデルやBARTモデルと比較する。
  論文  参考訳（メタデータ） (2023-05-10T13:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。