論文の概要: SYNFAC-EDIT: Synthetic Imitation Edit Feedback for Factual Alignment in
Clinical Summarization
- arxiv url: http://arxiv.org/abs/2402.13919v1
- Date: Wed, 21 Feb 2024 16:33:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 14:29:06.954770
- Title: SYNFAC-EDIT: Synthetic Imitation Edit Feedback for Factual Alignment in
Clinical Summarization
- Title(参考訳): SynFAC-EDIT : 臨床要約のための合成模倣編集フィードバック
- Authors: Prakamya Mishra, Zonghai Yao, Parth Vashisht, Feiyun Ouyang, Beining
Wang, Vidhi Dhaval Mody, Hong Yu
- Abstract要約: 本稿では,GPT-3.5とGPT-4を用いて高品質なフィードバックを生成する革新的なパイプラインを提案する。
私たちのゴールは幻覚を減らし、医学的事実と密接に整合し、AI生成コンテンツと事実の精度の差を狭めることです。
- 参考スコア(独自算出の注目度): 6.4378509098972465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) such as GPT and Llama have demonstrated
significant achievements in summarization tasks but struggle with factual
inaccuracies, a critical issue in clinical NLP applications where errors could
lead to serious consequences. To counter the high costs and limited
availability of expert-annotated data for factual alignment, this study
introduces an innovative pipeline that utilizes GPT-3.5 and GPT-4 to generate
high-quality feedback aimed at enhancing factual consistency in clinical note
summarization. Our research primarily focuses on edit feedback, mirroring the
practical scenario in which medical professionals refine AI system outputs
without the need for additional annotations. Despite GPT's proven expertise in
various clinical NLP tasks, such as the Medical Licensing Examination, there is
scant research on its capacity to deliver expert-level edit feedback for
improving weaker LMs or LLMs generation quality. This work leverages GPT's
advanced capabilities in clinical NLP to offer expert-level edit feedback.
Through the use of two distinct alignment algorithms (DPO and SALT) based on
GPT edit feedback, our goal is to reduce hallucinations and align closely with
medical facts, endeavoring to narrow the divide between AI-generated content
and factual accuracy. This highlights the substantial potential of GPT edits in
enhancing the alignment of clinical factuality.
- Abstract(参考訳): GPTやLlamaのような大規模言語モデル(LLM)は、要約タスクにおいて重要な成果を示したが、実際的不正確さに苦慮している。
そこで本研究では,GPT-3.5とGPT-4を併用して,臨床メモ要約における現実的整合性向上を目的とした高品質なフィードバックを生成する,革新的なパイプラインを提案する。
医療従事者が追加のアノテーションを必要とせずにaiシステム出力を洗練する実践シナリオを反映した,編集フィードバックを中心に研究を行った。
医学ライセンス試験(英語版)のような様々な臨床NLPタスクにおけるGPTの専門知識が証明されているにもかかわらず、より弱いLMやLSMの生成品質を改善するために専門家レベルの編集フィードバックを提供する能力について精査されている。
この研究は、臨床NLPにおけるGPTの高度な能力を活用し、専門家レベルの編集フィードバックを提供する。
GPT編集フィードバックに基づく2つの異なるアライメントアルゴリズム(DPOとSALT)を使用することで、幻覚を減らし、医学的事実と密接に整合し、AI生成コンテンツと事実的精度の差を狭めることを目指している。
これは臨床事実の整合性を高めるためのGPT編集の可能性を強調している。
関連論文リスト
- Automatic Summarization of Doctor-Patient Encounter Dialogues Using Large Language Model through Prompt Tuning [20.9626587328674]
本研究では,ジェネレーティブ・大規模言語モデル(LLM)を用いた医師と患者との対話を要約するアプローチを提案する。
我々は, 臨床テキストを要約するために, 生成LDMを指示するプロンプトチューニングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2024-03-19T18:37:05Z) - Attribute Structuring Improves LLM-Based Evaluation of Clinical Text
Summaries [62.32403630651586]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。
本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。
ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文 参考訳(メタデータ) (2024-03-01T21:59:03Z) - Leveraging Professional Radiologists' Expertise to Enhance LLMs'
Evaluation for Radiology Reports [22.599250713630333]
提案手法は,Large Language Models (LLMs) を用いた専門的放射線技師の専門知識を相乗化する。
我々のアプローチは、LLM評価を放射線学の基準と整合させ、人間とAIが生成したレポートの詳細な比較を可能にする。
実験の結果, 詳細な GPT-4 (5-shot) モデルでは0.48 のスコアが得られ, METEOR のスコアは0.19 を上回った。
論文 参考訳(メタデータ) (2024-01-29T21:24:43Z) - Distilling Large Language Models for Matching Patients to Clinical
Trials [3.4068841624198942]
近年の大規模言語モデル(LLMs)の成功は、医療分野における彼らの採用の道を開いた。
本研究は,患者と臨床の整合性に対するプロプライエタリ (GPT-3.5, GPT-4) とオープンソース LLM (LLAMA 7B, 13B, 70B) の併用性について,最初の系統的検討を行った。
この制限された合成データセットを微調整したオープンソースのLLMは、プロプライエタリなデータセットと同等の性能を示した。
論文 参考訳(メタデータ) (2023-12-15T17:11:07Z) - An Introduction to Natural Language Processing Techniques and Framework
for Clinical Implementation in Radiation Oncology [1.2714439146420664]
放射線オンコロジー研究において,大規模言語モデル(LLM)を用いた最先端NLPアプリケーションを提案する。
LLMは、厳格な評価と検証を必要とする幻覚、偏見、倫理的違反など、多くの誤りを起こしやすい。
本論は, 臨床放射線腫瘍学におけるNLPモデルの開発と利用に関心がある研究者や臨床医に対して, 指導と洞察を提供することを目的とする。
論文 参考訳(メタデータ) (2023-11-03T19:32:35Z) - Synthetic Imitation Edit Feedback for Factual Alignment in Clinical
Summarization [7.765365251963273]
LLM(Large Language Models)は、重要な文脈情報をキャプチャする際、例外的な機能を示す。
LLMは、臨床領域で非常に有害な、事実的に幻覚的な要約を生成することがある。
高品質なフィードバックデータを生成するために,人間の専門家の代わりにChatGPTを用いたパイプラインを提案する。
論文 参考訳(メタデータ) (2023-10-30T21:33:22Z) - TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic
Tree-Based Memory Network [54.332862955411656]
臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。
近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。
本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
論文 参考訳(メタデータ) (2023-07-19T12:35:09Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Large Language Models for Healthcare Data Augmentation: An Example on
Patient-Trial Matching [49.78442796596806]
患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。
本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
論文 参考訳(メタデータ) (2023-03-24T03:14:00Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳(メタデータ) (2023-03-23T04:47:46Z) - Informing clinical assessment by contextualizing post-hoc explanations
of risk prediction models in type-2 diabetes [50.8044927215346]
本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。
我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。
本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
論文 参考訳(メタデータ) (2023-02-11T18:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。