論文の概要: Evaluating The Performance of Using Large Language Models to Automate Summarization of CT Simulation Orders in Radiation Oncology

• arxiv url: http://arxiv.org/abs/2501.16309v1
• Date: Mon, 27 Jan 2025 18:47:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:55:01.444946
• Title: Evaluating The Performance of Using Large Language Models to Automate Summarization of CT Simulation Orders in Radiation Oncology
• Title（参考訳）: 放射線オンコロジーにおけるCTシミュレーション順序の自動要約のための大規模言語モデルを用いた性能評価
• Authors: Meiyun Cao, Shaw Hu, Jason Sharp, Edward Clouser, Jason Holmes, Linda L. Lam, Xiaoning Ding, Diego Santos Toesca, Wendy S. Lindholm, Samir H. Patel, Sujay A. Vora, Peilong Wang, Wei Liu,
• Abstract要約: 本研究の目的は,大規模言語モデル(LLM)を用いて,CTシミュレーションの順序から要約を生成することである。 ローカルにホストされたLlama 3.1 405Bモデルを使用して、CTシミュレーションの順序からキーワードを抽出し、要約を生成する。 LLM生成サマリーの精度は, 基礎事実を基準として, セラピストによって評価された。
• 参考スコア（独自算出の注目度）: 3.0048953993445586
• License:
• Abstract: Purpose: This study aims to use a large language model (LLM) to automate the generation of summaries from the CT simulation orders and evaluate its performance. Materials and Methods: A total of 607 CT simulation orders for patients were collected from the Aria database at our institution. A locally hosted Llama 3.1 405B model, accessed via the Application Programming Interface (API) service, was used to extract keywords from the CT simulation orders and generate summaries. The downloaded CT simulation orders were categorized into seven groups based on treatment modalities and disease sites. For each group, a customized instruction prompt was developed collaboratively with therapists to guide the Llama 3.1 405B model in generating summaries. The ground truth for the corresponding summaries was manually derived by carefully reviewing each CT simulation order and subsequently verified by therapists. The accuracy of the LLM-generated summaries was evaluated by therapists using the verified ground truth as a reference. Results: About 98% of the LLM-generated summaries aligned with the manually generated ground truth in terms of accuracy. Our evaluations showed an improved consistency in format and enhanced readability of the LLM-generated summaries compared to the corresponding therapists-generated summaries. This automated approach demonstrated a consistent performance across all groups, regardless of modality or disease site. Conclusions: This study demonstrated the high precision and consistency of the Llama 3.1 405B model in extracting keywords and summarizing CT simulation orders, suggesting that LLMs have great potential to help with this task, reduce the workload of therapists and improve workflow efficiency.
• Abstract（参考訳）: 目的:本研究は,大規模言語モデル(LLM)を用いてCTシミュレーションの順序から要約の自動生成を行い,その性能を評価することを目的としている。 対象と方法: 当施設のAriaデータベースから, 合計607件のCTシミュレーション命令を収集した。 ローカルにホストされたLlama 3.1 405Bモデルは、アプリケーションプログラミングインタフェース(API)サービスを介してアクセスされ、CTシミュレーションの順序からキーワードを抽出し、要約を生成するために使用された。 ダウンロードされたCTシミュレーションの順序は,治療モダリティと疾患部位に基づいて7つのグループに分類した。 各グループに対して、サマリーを生成するためにLlama 3.1 405Bモデルをガイドするために、セラピストと共同でカスタマイズされた命令プロンプトが開発された。 それぞれのCTシミュレーションの順序を慎重に検討し,その後,セラピストによる検証により,対応するサマリーの基礎的真理を手作業で導いた。 LLM生成サマリーの精度は, 基礎事実を基準として, セラピストによって評価された。 結果: LLM生成サマリーの約98%が手作業で生成した真実に一致した。 以上の結果より,LCM生成サマリーのフォーマットの整合性が向上し,可読性も向上した。 この自動的なアプローチは、モダリティや疾患部位に関わらず、すべてのグループで一貫したパフォーマンスを示した。 結論: 本研究は,Llama 3.1 405Bモデルのキーワード抽出とCTシミュレーション命令の要約における精度と一貫性を実証した。

関連論文リスト

• Enhancing In-Hospital Mortality Prediction Using Multi-Representational Learning with LLM-Generated Expert Summaries [3.5508427067904864]
  ICU患者の院内死亡率(IHM)予測は、時間的介入と効率的な資源配分に重要である。 本研究は、構造化された生理データと臨床ノートをLarge Language Model(LLM)によって生成された専門家要約と統合し、IHM予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-11-25T16:36:38Z)
• Enhanced Electronic Health Records Text Summarization Using Large Language Models [0.0]
  このプロジェクトは、臨床が優先する、焦点を絞った要約を生成するシステムを作成することで、以前の作業の上に構築される。 提案システムでは,Flan-T5モデルを用いて,臨床専門のトピックに基づいた調整されたERHサマリーを生成する。
  論文  参考訳（メタデータ） (2024-10-12T19:36:41Z)
• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• Automatically Extracting Numerical Results from Randomized Controlled Trials with Large Language Models [19.72316842477808]
  我々は,現代の大規模言語モデル (LLM) がこのタスクを確実に実行できるかを評価する。 長い入力を許容できる大規模なLSMは、完全に自動メタ分析を実現するために、微妙に近い。
  論文  参考訳（メタデータ） (2024-05-02T19:20:11Z)
• Towards Efficient Patient Recruitment for Clinical Trials: Application of a Prompt-Based Learning Model [0.7373617024876725]
  臨床試験は医薬品の介入を促進するのに不可欠であるが、適格な参加者を選ぶ際にボトルネックに直面している。 構造化されていない医療用テキストの複雑な性質は、参加者を効率的に識別する上での課題である。 本研究では,コホート選択課題に対するプロンプトベース大規模言語モデルの性能評価を目的とした。
  論文  参考訳（メタデータ） (2024-04-24T20:42:28Z)
• Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [56.31117605097345]
  大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。 本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。 ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-01T21:59:03Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• Summarization is (Almost) Dead [49.360752383801305]
  我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。 本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
  論文  参考訳（メタデータ） (2023-09-18T08:13:01Z)
• Local Large Language Models for Complex Structured Medical Tasks [0.0]
  本稿では,大規模言語モデルの言語推論機能と,複雑なドメイン特化タスクに取り組むための局所学習の利点を組み合わせたアプローチを提案する。 具体的には,病理報告から構造化条件コードを抽出し,そのアプローチを実証する。
  論文  参考訳（メタデータ） (2023-08-03T12:36:13Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。