論文の概要: From Fuzzy Speech to Medical Insight: Benchmarking LLMs on Noisy Patient Narratives
- arxiv url: http://arxiv.org/abs/2509.11803v1
- Date: Mon, 15 Sep 2025 11:34:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:23.253732
- Title: From Fuzzy Speech to Medical Insight: Benchmarking LLMs on Noisy Patient Narratives
- Title(参考訳): ファジィスピーチから医療インテリジェンスへ:騒々しい患者のナラティブに関するLCMのベンチマーク
- Abstract要約: 本稿では, 言語ノイズ, ファジィ言語, 在人用語のレベルの違いを特徴とする, 患者自己記述のシミュレートを目的とした新しいデータセットを提案する。
本データセットは, 多様な実世界の報告スタイルを反映する, コミュニケーションの明瞭度の範囲にまたがる, 地中真実診断を付加した, 臨床的に一貫したシナリオから構成される。
本研究では,NDB(Nuisy Diagnostic Benchmark)を作成した。NDB(Nuisy Diagnostic Benchmark)は,ストレステスト用に設計され,現実的な言語条件下での大規模言語モデル(LLM)の診断能力を比較する。
- 参考スコア(独自算出の注目度): 40.12543056558646
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The widespread adoption of large language models (LLMs) in healthcare raises critical questions about their ability to interpret patient-generated narratives, which are often informal, ambiguous, and noisy. Existing benchmarks typically rely on clean, structured clinical text, offering limited insight into model performance under realistic conditions. In this work, we present a novel synthetic dataset designed to simulate patient self-descriptions characterized by varying levels of linguistic noise, fuzzy language, and layperson terminology. Our dataset comprises clinically consistent scenarios annotated with ground-truth diagnoses, spanning a spectrum of communication clarity to reflect diverse real-world reporting styles. Using this benchmark, we fine-tune and evaluate several state-of-the-art models (LLMs), including BERT-based and encoder-decoder T5 models. To support reproducibility and future research, we release the Noisy Diagnostic Benchmark (NDB), a structured dataset of noisy, synthetic patient descriptions designed to stress-test and compare the diagnostic capabilities of large language models (LLMs) under realistic linguistic conditions. We made the benchmark available for the community: https://github.com/lielsheri/PatientSignal
- Abstract(参考訳): 医療における大規模言語モデル(LLM)の普及は、しばしば非公式で曖昧で騒々しい、患者生成の物語を解釈する能力について批判的な疑問を提起する。
既存のベンチマークは通常、クリーンで構造化された臨床テキストに依存し、現実的な条件下でのモデルパフォーマンスに関する限られた洞察を提供する。
本研究では, 言語ノイズ, ファジィ言語, 在人用語のレベルの違いを特徴とする患者自己記述をシミュレートした, 新規な合成データセットを提案する。
本データセットは, 多様な実世界の報告スタイルを反映する, コミュニケーションの明瞭度の範囲にまたがる, 地中真実診断を付加した, 臨床的に一貫したシナリオから構成される。
このベンチマークを用いて、BERTベースやエンコーダデコーダT5モデルなど、いくつかの最先端モデル(LLM)を微調整し、評価する。
再現性と今後の研究を支援するため,現実的な言語条件下での大規模言語モデル(LLM)の診断能力の比較とストレステストを目的とした,ノイズの多い患者記述の構造化データセットであるNoisy Diagnostic Benchmark (NDB) をリリースする。
ベンチマークをコミュニティに公開しました。 https://github.com/lielsheri/PatientSignal。
関連論文リスト
- Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models [6.567438338350837]
音声信号は認知低下に関連する言語マーカーと音響マーカーの両方を符号化する。
大規模言語モデル(LLM)の最近の進歩は,音声に基づく評価の可能性を高めている。
本稿では,音声音声と対応する書き起こしを統合したオープンソースのLLMに基づくマルチモーダルCI検出フレームワークを提案する。
本研究は、CI識別のための新しい最先端技術を確立し、提案手法により、より優れたクロスデータセットの一般化を実証する。
論文 参考訳(メタデータ) (2026-07-23T16:43:12Z) - Multimodal Graph-based Classification of Esophageal Motility Disorders [73.90451172929117]
食道運動障害の診断は,高分解能インピーダンス測定データの複雑化と臨床解釈の多様性が原因で大きな課題となる。
本研究は,HRIM記録と患者固有の情報を組み合わせたマルチモーダル機械学習に基づく分類手法の実現可能性について検討し,食道生理学のグラフベースモデリングを取り入れた。
論文 参考訳(メタデータ) (2026-05-13T14:52:12Z) - When Audio-Language Models Fail to Leverage Multimodal Context for Dysarthric Speech Recognition [10.779774155043166]
我々は, 診断ラベル, 臨床医由来の音声評価, および徐々にリッチな臨床記述が, 変形性関節症音声の転写精度を向上させるかどうかを検証した。
診断インフォームドおよび臨床的に詳細なプロンプトは、無視できる改善をもたらし、しばしば単語誤り率を低下させる。
サブグループ分析により,ダウン症候群と軽度重度話者に有意な改善が認められた。
論文 参考訳(メタデータ) (2026-05-04T16:24:06Z) - Something from Nothing: Data Augmentation for Robust Severity Level Estimation of Dysarthric Speech [69.86604856129883]
外科的音声品質評価(DSQA)は臨床診断と包括的音声技術において重要である。
本研究では,未ラベルの変形音声と大規模典型的な音声データセットを併用した3段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-16T23:00:07Z) - Semi-Supervised Diseased Detection from Speech Dialogues with Multi-Level Data Modeling [27.224093715611534]
本稿では,音声から医療状況を検出するための新しい枠組みを提案する。
エンドツーエンドアプローチは,多粒度特徴を動的に集約し,高品質な擬似ラベルを生成する。
この研究は、医学的音声分析における弱い極端の監督から学ぶための原則的なアプローチを提供する。
論文 参考訳(メタデータ) (2026-01-08T09:10:16Z) - Language Models as Semantic Teachers: Post-Training Alignment for Medical Audio Understanding [15.79973026677169]
事前訓練された音響モデルは、聴力音の音響パターンを検出するのに優れるが、臨床的意義を把握できないことが多い。
AcuLaは、医療用言語モデルと整合することで、任意のオーディオエンコーダに意味理解を組み込むフレームワークである。
我々の研究は、このオーディオ言語アライメントが純粋に音響モデルから臨床的に認識される診断ツールに変換することを実証している。
論文 参考訳(メタデータ) (2025-12-04T14:30:58Z) - Clinical NLP with Attention-Based Deep Learning for Multi-Disease Prediction [44.0876796031468]
本稿では,電子健康記録テキストの非構造的性質と高次元意味論的複雑さがもたらす課題について論じる。
情報抽出と多ラベル病予測のための統合モデリングを実現するために,注意機構に基づく深層学習手法を提案する。
論文 参考訳(メタデータ) (2025-07-02T07:45:22Z) - A Controllable Examination for Long-Context Language Models [62.845852724511964]
本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。
その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。
我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
論文 参考訳(メタデータ) (2025-06-03T14:23:06Z) - Analysis and Evaluation of Synthetic Data Generation in Speech Dysfluency Detection [5.95376852691752]
発声障害の検出は臨床診断と言語評価に不可欠である。
このデータセットは、単語レベルと音素レベルの両方にまたがる11のディスフルエンシカテゴリをキャプチャする。
このリソースを基盤として、エンド・ツー・エンドのディフルエンシ検出フレームワークを改善します。
論文 参考訳(メタデータ) (2025-05-28T06:52:10Z) - ProMedTS: A Self-Supervised, Prompt-Guided Multimodal Approach for Integrating Medical Text and Time Series [27.70300880284899]
大規模言語モデル (LLM) は、視覚の細かいタスクにおいて顕著な性能を示してきたが、医療分野におけるそれらの応用はいまだに探索されていない。
ProMedTSは、データ型を統一するために、プロンプト誘導学習を利用する、新しい自己教師型マルチモーダルフレームワークである。
実世界のデータセットを用いた診断タスクにおけるProMedTSの評価を行い,本手法が常に最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2025-02-19T07:56:48Z) - LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。
本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。
実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
論文 参考訳(メタデータ) (2025-01-07T08:49:04Z) - SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
臨床知識を符号化するための言語モデル(LLM)が示されている。
6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。
ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
論文 参考訳(メタデータ) (2024-07-03T11:02:12Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳(メタデータ) (2023-04-17T17:13:42Z) - CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
中国初のバイオメディカル言語理解評価ベンチマークを提示する。
名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。
本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
論文 参考訳(メタデータ) (2021-06-15T12:25:30Z) - A comprehensive comparative evaluation and analysis of Distributional
Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。
その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。
我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文 参考訳(メタデータ) (2021-05-20T15:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。