Fugu-MT 論文翻訳(概要): e-Health CSIRO at "Discharge Me!" 2024: Generating Discharge Summary Sections with Fine-tuned Language Models

論文の概要: e-Health CSIRO at "Discharge Me!" 2024: Generating Discharge Summary Sections with Fine-tuned Language Models

arxiv url: http://arxiv.org/abs/2407.02723v1
Date: Wed, 3 Jul 2024 00:32:28 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 17:54:48.148926
Title: e-Health CSIRO at "Discharge Me!" 2024: Generating Discharge Summary Sections with Fine-tuned Language Models
Title（参考訳）: e-Health CSIRO at "Discharge Me!
Authors: Jinghui Liu, Aaron Nicolson, Jason Dowling, Bevan Koopman, Anthony Nguyen,
Abstract要約: BioNLP 2024 Shared Task on Streamlining Discharge Documentation (Discharge Me! 我々は,複数のオープンソース言語モデル (LM) を微調整し,デコーダのみとエンコーダのみを含む生成タスクにアプローチする。その結果, 生成作業において, 目標区間に先行する放電概要の内容に対する条件付けが有効であることが示唆された。
参考スコア（独自算出の注目度）: 6.547747400704174
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Clinical documentation is an important aspect of clinicians' daily work and often demands a significant amount of time. The BioNLP 2024 Shared Task on Streamlining Discharge Documentation (Discharge Me!) aims to alleviate this documentation burden by automatically generating discharge summary sections, including brief hospital course and discharge instruction, which are often time-consuming to synthesize and write manually. We approach the generation task by fine-tuning multiple open-sourced language models (LMs), including both decoder-only and encoder-decoder LMs, with various configurations on input context. We also examine different setups for decoding algorithms, model ensembling or merging, and model specialization. Our results show that conditioning on the content of discharge summary prior to the target sections is effective for the generation task. Furthermore, we find that smaller encoder-decoder LMs can work as well or even slightly better than larger decoder based LMs fine-tuned through LoRA. The model checkpoints from our team (aehrc) are openly available.
Abstract（参考訳）: 臨床文書は臨床医の日々の仕事の重要な側面であり、しばしばかなりの時間を要する。 BioNLP 2024 Shared Task on Streamlining Discharge Documentation (Discharge Me!) は、簡単な病院コースや退院指導を含む退院要領を自動生成し、手書きの合成や書き直しに時間がかかり、この文書の負担を軽減することを目的としている。我々は,複数のオープンソース言語モデル(LM)を微調整し,デコーダのみとエンコーダとデコーダの両方を含む生成タスクにアプローチする。また、復号アルゴリズム、モデルアンサンブル、マージ、モデル特殊化の異なる設定についても検討する。その結果, 生成作業において, 目標区間に先行する放電概要の内容に対する条件付けが有効であることが示唆された。さらに,より小型のエンコーダ・デコーダ LM は,LORA で微調整された大型のデコーダ LM よりも,さらに若干の精度で動作可能であることがわかった。私たちのチーム(aehrc)のモデルチェックポイントは、公開されています。

関連論文リスト

Optimizing Automatic Summarization of Long Clinical Records Using Dynamic Context Extension:Testing and Evaluation of the NBCE Method [1.2779169621283721]
現在の手作業による要約は、医療スタッフを苦しめる。 LLMを用いた自動手法を提案するが、長い入力によってLLMがコンテキストを失う。 7Bモデルであるopen-calm-7bをNative Bayes Context Extendで拡張しました。改善されたモデルは、200サンプルのROUGE-Lメトリクス上で、Googleの175B Geminiとほぼ同等に達成しました。
論文参考訳（メタデータ） (2024-11-13T13:09:14Z)
IgnitionInnovators at "Discharge Me!": Chain-of-Thought Instruction Finetuning Large Language Models for Discharge Summaries [4.416952653287928]
本研究では,DSD タスクを解くための LLM ベースのフレームワークを開発する。実験結果から,一連の包括的チェーン・オブ・ソート(CoT)質問に補完された明確な出力構造を提供することで,モデルの推論能力を効果的に改善できることが示唆された。
論文参考訳（メタデータ） (2024-07-24T21:02:53Z)
LlamaCare: A Large Medical Language Model for Enhancing Healthcare Knowledge Sharing [0.0]
24G GPUでChatGPTと同等の性能を示した。 PubMedQAやUSMLE 1-3など,いくつかのベンチマークを対象としたワンショットおよび数ショットトレーニングのための処理データをリリースしました。
論文参考訳（メタデータ） (2024-06-04T14:24:53Z)
CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
論文参考訳（メタデータ） (2024-04-08T21:15:36Z)
Accurate and Well-Calibrated ICD Code Assignment Through Attention Over Diverse Label Embeddings [1.201425717264024]
ICDコードを臨床テキストに手動で割り当てるのは、時間がかかり、エラーが発生し、コストがかかる。本稿では,ICDの自動符号化のための新しい手法について述べる。 MIMIC-IIIデータセットの異なる分割による実験は、提案手法がICD符号化における現在の最先端モデルより優れていることを示している。
論文参考訳（メタデータ） (2024-02-05T16:40:23Z)
SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code Summarization [51.67317895094664]
本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
論文参考訳（メタデータ） (2024-01-26T09:23:27Z)
Automated clinical coding using off-the-shelf large language models [10.365958121087305]
診断用ICD符号を患者病院入院に割り当てる作業は、典型的には、熟練した人間のコーダーによって行われる。自動ICD符号化への取り組みは、教師付きディープラーニングモデルによって支配されている。本研究では,既製の事前学習型大規模言語モデルを活用し,実用的ソリューションを開発する。
論文参考訳（メタデータ） (2023-10-10T11:56:48Z)
CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
論文参考訳（メタデータ） (2023-05-13T14:23:07Z)
Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
論文参考訳（メタデータ） (2023-04-08T15:44:29Z)
Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
論文参考訳（メタデータ） (2021-06-17T17:55:33Z)
Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
論文参考訳（メタデータ） (2020-05-16T20:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。