論文の概要: Exploring Robustness in Doctor-Patient Conversation Summarization: An Analysis of Out-of-Domain SOAP Notes

• arxiv url: http://arxiv.org/abs/2406.02826v1
• Date: Wed, 5 Jun 2024 00:11:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 22:37:23.677710
• Title: Exploring Robustness in Doctor-Patient Conversation Summarization: An Analysis of Out-of-Domain SOAP Notes
• Title（参考訳）: 医師と医師の対話要約におけるロバスト性を探る:SOAPの外部ノートの分析
• Authors: Yu-Wen Chen, Julia Hirschberg,
• Abstract要約: 領域外データを用いた最先端の医師・患者間会話生成モデルの性能について検討する。 両構成における細調整型言語モデルとGPTの限界と強みを解析した。
• 参考スコア（独自算出の注目度）: 12.628782042255395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Summarizing medical conversations poses unique challenges due to the specialized domain and the difficulty of collecting in-domain training data. In this study, we investigate the performance of state-of-the-art doctor-patient conversation generative summarization models on the out-of-domain data. We divide the summarization model of doctor-patient conversation into two configurations: (1) a general model, without specifying subjective (S), objective (O), and assessment (A) and plan (P) notes; (2) a SOAP-oriented model that generates a summary with SOAP sections. We analyzed the limitations and strengths of the fine-tuning language model-based methods and GPTs on both configurations. We also conducted a Linguistic Inquiry and Word Count analysis to compare the SOAP notes from different datasets. The results exhibit a strong correlation for reference notes across different datasets, indicating that format mismatch (i.e., discrepancies in word distribution) is not the main cause of performance decline on out-of-domain data. Lastly, a detailed analysis of SOAP notes is included to provide insights into missing information and hallucinations introduced by the models.
• Abstract（参考訳）: 医学的会話の要約は、専門領域と、ドメイン内のトレーニングデータを集めることの難しさにより、ユニークな課題を生んでいる。 本研究では,現在最先端の医師と患者との会話生成モデルの性能について,ドメイン外データを用いて検討した。 1)主観的(S)、目的的(O)、評価的(A)、計画的(P)ノートを指定せずに、一般的なモデル、(2)SOAPセクションの要約を生成するSOAP指向モデルである。 両構成における細調整型言語モデルとGPTの限界と強みを解析した。 また、異なるデータセットのSOAPノートを比較するために、Lingguistic InquiryとWord Count分析を実施しました。 結果は、異なるデータセット間での参照ノートに対する強い相関を示し、フォーマットミスマッチ(すなわち、単語分布の相違)がドメイン外のデータのパフォーマンス低下の主な原因ではないことを示す。 最後に、SOAPノートの詳細な分析は、モデルが導入した不足情報や幻覚に関する洞察を提供するために含まれます。

関連論文リスト

• Systematic Exploration of Dialogue Summarization Approaches for Reproducibility, Comparative Assessment, and Methodological Innovations for Advancing Natural Language Processing in Abstractive Summarization [0.0]
  本稿では,対話要約モデルの再現と評価について述べる。 本研究は、AMIデータセットを用いた対話要約モデルの徹底的な検討を含む。 主な目的は、人的評価を通じて、これらのモデルによって生成された要約の有意性と品質を評価することである。
  論文  参考訳（メタデータ） (2024-10-21T12:47:57Z)
• Lessons Learned on Information Retrieval in Electronic Health Records: A Comparison of Embedding Models and Pooling Strategies [8.822087602255504]
  大きな言語モデルを臨床領域に適用することは、医療記録を処理するという文脈重大な性質のために困難である。 本稿では, 組込みモデルとプール法の違いが臨床領域の情報検索に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-09-23T16:16:08Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• Document-Level Relation Extraction with Sentences Importance Estimation and Focusing [52.069206266557266]
  文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。 我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。 2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
  論文  参考訳（メタデータ） (2022-04-27T03:20:07Z)
• ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive Summarization with Argument Mining [61.82562838486632]
  我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。 我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
  論文  参考訳（メタデータ） (2021-06-01T22:17:13Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)
• Towards an Automated SOAP Note: Classifying Utterances from Medical Conversations [0.6875312133832078]
  我々は、(i)SOAPセクションと(ii)話者の役割に従って、医療会話から発話を分類するためのギャップを橋渡しします。 本稿では,既存のディープラーニングアーキテクチャを上記の2つのタスクに適応させるシステム分析を提案する。 その結果,単語レベルと発話レベルの両方をキャプチャする階層的な文脈をモデル化することで,両者の分類作業を大幅に改善することが示唆された。
  論文  参考訳（メタデータ） (2020-07-17T04:19:30Z)
• Attention-based Neural Bag-of-Features Learning for Sequence Data [143.62294358378128]
  2D-Attention (2DA) は、シーケンスデータの一般的なアテンション定式化である。 提案したアテンションモジュールは、最近提案されたNeural Bag of Feature(NBoF)モデルに組み込まれ、学習能力を高める。 実験により,提案手法はNBoFモデルの性能を向上させるだけでなく,ノイズに耐性を持つことを示す。
  論文  参考訳（メタデータ） (2020-05-25T17:51:54Z)
• Generating SOAP Notes from Doctor-Patient Conversations Using Modular Summarization Techniques [43.13248746968624]
  私たちは、深い要約モデルを利用してSOAPノートを生成するための最初の完全なパイプラインを紹介します。 本稿では,各要約部に関連する重要な発話を抽出するアルゴリズムであるCluster2Sentを提案する。 本研究は,要約コーパスを構築する際に,要約をセクションに構造化し,証拠を注釈する利点について述べる。
  論文  参考訳（メタデータ） (2020-05-04T19:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。