論文の概要: The Lay Person's Guide to Biomedicine: Orchestrating Large Language
Models
- arxiv url: http://arxiv.org/abs/2402.13498v1
- Date: Wed, 21 Feb 2024 03:21:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 17:24:29.078572
- Title: The Lay Person's Guide to Biomedicine: Orchestrating Large Language
Models
- Title(参考訳): the lay person's guide to biomedicine: orchestraing large language models
- Authors: Zheheng Luo, Qianqian Xie, Sophia Ananiadou
- Abstract要約: 大規模言語モデル(LLM)は、テキストの単純化、背景情報生成、テキスト評価において顕著な能力を示した。
我々は,LLMを利用して高品質なバックグラウンド知識を生成する,新しいtextitExplain-then-Summarise LSフレームワークを提案する。
また,複数の視点からレイネスを評価する2つの新しいLS評価指標を提案する。
- 参考スコア(独自算出の注目度): 38.8292168447796
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Automated lay summarisation (LS) aims to simplify complex technical documents
into a more accessible format to non-experts. Existing approaches using
pre-trained language models, possibly augmented with external background
knowledge, tend to struggle with effective simplification and explanation.
Moreover, automated methods that can effectively assess the `layness' of
generated summaries are lacking. Recently, large language models (LLMs) have
demonstrated a remarkable capacity for text simplification, background
information generation, and text evaluation. This has motivated our systematic
exploration into using LLMs to generate and evaluate lay summaries of
biomedical articles. We propose a novel \textit{Explain-then-Summarise} LS
framework, which leverages LLMs to generate high-quality background knowledge
to improve supervised LS. We also evaluate the performance of LLMs for
zero-shot LS and propose two novel LLM-based LS evaluation metrics, which
assess layness from multiple perspectives. Finally, we conduct a human
assessment of generated lay summaries. Our experiments reveal that
LLM-generated background information can support improved supervised LS.
Furthermore, our novel zero-shot LS evaluation metric demonstrates a high
degree of alignment with human preferences. We conclude that LLMs have an
important part to play in improving both the performance and evaluation of LS
methods.
- Abstract(参考訳): automated lay summarisation (ls) は、複雑な技術文書を非専門家にとってよりアクセスしやすい形式にすることを目的としている。
既存の訓練済み言語モデルを用いたアプローチは、おそらく外部の背景知識で強化され、効果的な単純化と説明に苦慮する傾向にある。
さらに,生成した要約の‘レイネス’を効果的に評価する自動化手法が不足している。
近年,大規模言語モデル (LLM) は, テキストの単純化, 背景情報生成, テキスト評価において顕著な能力を示した。
このことから, LLM を用いたバイオメディカル物品の要約生成と評価を体系的に行うことの動機となった。
本稿では,LLMを利用して高品質なバックグラウンド知識を生成し,教師付きLSを改善する新しいLSフレームワークを提案する。
また、ゼロショットLSにおけるLCMの性能評価を行い、複数の視点からレイネスを評価する2つの新しいLS評価指標を提案する。
最後に,生成した要約を人間による評価を行う。
llm生成の背景情報により教師付きlsの改善が期待できることを示す。
さらに,提案するゼロショットls評価指標は,人間の嗜好と高い一致度を示す。
LLMはLS法の性能と評価を両立させる上で重要な役割を担っていると結論付けている。
関連論文リスト
- Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Evaluating Large Language Models at Evaluating Instruction Following [57.74447923909296]
大規模言語モデル(LLM)は、人間の評価に代わるスケーラブルで費用対効果の高い代替品として登場した。
本稿では,これらの「LLM評価器」の有効性について検討する。
我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。
論文 参考訳(メタデータ) (2023-10-11T16:38:11Z) - Summarization is (Almost) Dead [49.360752383801305]
我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。
本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
論文 参考訳(メタデータ) (2023-09-18T08:13:01Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z) - On Learning to Summarize with Large Language Models as References [105.62615205746106]
本研究では,大規模言語モデル(LLM)を,データセット上のゴールドスタンダード・オラクルの参照あるいは参照とみなす新たな学習環境について検討する。
CNN/DailyMailおよびXSumデータセットの実験では、より小さな要約モデルがLLMと同等のパフォーマンスを達成できることが示されている。
しかし,人間による評価では,小型モデルではLLMレベルに到達できないことがわかった。
論文 参考訳(メタデータ) (2023-05-23T16:56:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。