Fugu-MT 論文翻訳(概要): Leveraging Pretrained Models for Automatic Summarization of Doctor-Patient Conversations

論文の概要: Leveraging Pretrained Models for Automatic Summarization of Doctor-Patient Conversations

arxiv url: http://arxiv.org/abs/2109.12174v1
Date: Fri, 24 Sep 2021 20:18:59 GMT
ステータス: 処理完了
システム内更新日: 2021-09-28 15:55:27.015047
Title: Leveraging Pretrained Models for Automatic Summarization of Doctor-Patient Conversations
Title（参考訳）: 博士論文の自動要約のための事前学習モデルの活用
Authors: Longxiang Zhang, Renato Negrinho, Arindam Ghosh, Vasudevan Jagannathan, Hamid Reza Hassanzadeh, Thomas Schaaf, Matthew R. Gormley
Abstract要約: BARTを微調整することで,限られたトレーニングデータを用いて,流動的で適切な要約を生成することができることを示す。慎重に選択された微調整データセットを用いて、この手法はより長い会話を扱うのに効果的であることが示されている。
参考スコア（独自算出の注目度）: 9.184616102949228
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fine-tuning pretrained models for automatically summarizing doctor-patient conversation transcripts presents many challenges: limited training data, significant domain shift, long and noisy transcripts, and high target summary variability. In this paper, we explore the feasibility of using pretrained transformer models for automatically summarizing doctor-patient conversations directly from transcripts. We show that fluent and adequate summaries can be generated with limited training data by fine-tuning BART on a specially constructed dataset. The resulting models greatly surpass the performance of an average human annotator and the quality of previous published work for the task. We evaluate multiple methods for handling long conversations, comparing them to the obvious baseline of truncating the conversation to fit the pretrained model length limit. We introduce a multistage approach that tackles the task by learning two fine-tuned models: one for summarizing conversation chunks into partial summaries, followed by one for rewriting the collection of partial summaries into a complete summary. Using a carefully chosen fine-tuning dataset, this method is shown to be effective at handling longer conversations, improving the quality of generated summaries. We conduct both an automatic evaluation (through ROUGE and two concept-based metrics focusing on medical findings) and a human evaluation (through qualitative examples from literature, assessing hallucination, generalization, fluency, and general quality of the generated summaries).
Abstract（参考訳）: 医師と患者の会話書き起こしを自動的に要約するための微調整事前学習モデルは、限られたトレーニングデータ、重要なドメインシフト、長くて騒々しい書き起こし、高いターゲットの要約変数など、多くの課題を提示する。本稿では,医師と患者との会話をテキストから直接要約するための事前学習型トランスフォーマーモデルの有用性について検討する。本稿では,BARTを特別に構築したデータセット上で微調整することにより,限られたトレーニングデータを用いて,流動的で適切な要約を生成することができることを示す。得られたモデルは、平均的な人間のアノテータの性能と、タスクに対する以前の公開作業の品質を大きく上回る。長い会話を扱う複数の方法を評価し、事前訓練されたモデルの長さ制限に適合するように会話を切断する明確なベースラインと比較する。本稿では,会話チャンクを部分要約に要約する手法と,部分要約のコレクションを完全要約に書き換える手法という,2つの微調整モデルからタスクに取り組む多段階アプローチを提案する。慎重に選択した微調整データセットを用いて、この手法はより長い会話を処理し、生成された要約の質を向上させる。われわれは,自動評価(ROUGEと医学的所見に着目した2つの概念に基づく指標)と人的評価(文献からの定性的な例,幻覚,一般化,流布,生成した要約の一般品質)の両方を行う。

関連論文リスト

Aspect-Oriented Summarization for Psychiatric Short-Term Readmission Prediction [1.3563640142303988]
大規模言語モデル(LLM)は、タスク固有のデータセットの教師付きトレーニングを必要とせずに、長いドキュメントを処理できる。長い複雑な入力を持つタスクに対して実現可能なアプローチの1つは、まず文書を要約し、次に教師付き微調整を要約に適用することである。本稿では,原文書の異なる重要な側面を捉えることを目的とした,長文の要約処理手法を提案する。
論文参考訳（メタデータ） (2025-02-14T18:59:28Z)
Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization [0.05852077003870416]
この研究は、トランスフォーマーベースのBARTモデルを利用して人間のような要約を行う。エンコーダ・デコーダモデルの訓練および微調整において,多種多様なサンプル記事を用いて検証を行った。微調整モデルの性能をベースライン事前訓練モデルと比較する。 BBC Newsの記事に載った実証的な結果は、人間によって書かれた金の標準要約の方が17%も現実的に一貫性があることを示している。
論文参考訳（メタデータ） (2024-10-22T09:25:04Z)
Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文参考訳（メタデータ） (2024-05-31T20:15:10Z)
Heuristic-based Inter-training to Improve Few-shot Multi-perspective Dialog Summarization [13.117715760754077]
サポートエージェントと顧客間のカスタマーケア会話の多面的要約について検討する。提案手法は,アノテートデータの少ない多視点要約を生成するモデルをサポートすることを示す。
論文参考訳（メタデータ） (2022-03-29T14:02:40Z)
Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation [101.26235068460551]
大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
論文参考訳（メタデータ） (2020-10-24T08:36:49Z)
SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
総合的かつ一貫した方法で14の自動評価指標を再評価する。上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
論文参考訳（メタデータ） (2020-07-24T16:25:19Z)
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression [61.97200991151141]
SummPipはマルチドキュメント要約のための教師なしの手法である。元の文書を文グラフに変換し、言語表現と深層表現の両方を考慮に入れます。次に、スペクトルクラスタリングを適用して複数の文のクラスタを取得し、最後に各クラスタを圧縮して最終的な要約を生成する。
論文参考訳（メタデータ） (2020-07-17T13:01:15Z)
On Faithfulness and Factuality in Abstractive Summarization [17.261247316769484]
我々は抽象文書要約のためのニューラルテキスト生成モデルの制約を解析した。これらのモデルは、入力文書に反するコンテンツを幻覚させる傾向にあることがわかった。テキスト・エンタテインメントの指標は,標準指標よりも忠実度と相関性が高いことを示す。
論文参考訳（メタデータ） (2020-05-02T00:09:16Z)
Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文参考訳（メタデータ） (2020-04-21T16:54:57Z)
A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining [52.11221075687124]
本稿では,会議シナリオに適応する抽象的要約ネットワークを提案する。提案手法は,長時間の会議記録に対応する階層構造と,話者間の差異を表現する役割ベクトルを設計する。我々のモデルは、自動測定と人的評価の両方において、過去のアプローチよりも優れています。
論文参考訳（メタデータ） (2020-04-04T21:00:41Z)
Learning by Semantic Similarity Makes Abstractive Summarization Better [13.324006587838522]
近年のLM, BART, およびベンチマークデータセットCNN/DMの参照要約を比較した。興味深いことに、モデル生成サマリーは参照サマリーと比較して高いスコアを受け取る。
論文参考訳（メタデータ） (2020-02-18T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。