論文の概要: Benchmarking Open-Source Speech Emotion Recognition in Naturalistic Mandarin Spine Clinic Consultations: A Pilot Validation Study
- arxiv url: http://arxiv.org/abs/2609.26054v1
- Date: Mon, 24 Aug 2026 13:36:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.848305
- Title: Benchmarking Open-Source Speech Emotion Recognition in Naturalistic Mandarin Spine Clinic Consultations: A Pilot Validation Study
- Title(参考訳): ナチュラル・マンダリン・スピニン・クリニック・コンサルテーションにおけるオープンソースの音声感情認識のベンチマーク:パイロット検証研究
- Abstract要約: 音声感情認識(SER)は、臨床診断における受動的影響モニタリングを可能にする。
我々は,3つのオープンソースSERモデルを,自然主義的スピン・クリニック音声における研究者合意基準と比較した。
高いインターモデル(90.8%)にもかかわらず、全てのモデルはサッド、フィア、アンガー、ニュートラル、サプライズドをほぼゼロにリコールした。
- 参考スコア(独自算出の注目度): 5.110846032142439
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speech emotion recognition (SER) may enable passive affect monitoring in clinical encounters, but most systems are validated on acted laboratory speech rather than naturalistic Mandarin outpatient consultations. We benchmarked three open-source SER models (emotion2vec+, SenseVoice, FunASR) against a researcher-consensus reference in naturalistic spine-clinic speech, assessing minority-state detection under class imbalance. In a retrospective analysis of prospectively collected single-center recordings, audio was loudness-normalized and only conversations among patients, family members, and clinicians were retained. Sixty-five utterances (5-50 s; one per participant; 31 patients, 34 family members) were labeled by six calibrated annotators into six categories (Happy, Sad, Fear, Anger, Neutral, Surprised). Consensus used majority vote with Fleiss kappa filtering and clinician adjudication for low-agreement segments. Metrics included unweighted accuracy (UA), macro-average per-class accuracy, class- and sample-level weighted accuracy (WA), and F1 with bootstrap 95% CIs. Labels were imbalanced (Neutral 58.5%); median Fleiss kappa was 0.230 (IQR 0.134-0.519). SenseVoice and FunASR achieved UA 61.5% (95% CI 49.2-73.8%), macro-average per-class accuracy 87.2%, class-level WA 92.5%, and sample-level WA 24.6%. emotion2vec+ yielded UA 55.4% (95% CI 42.5-67.7%) and macro-average per-class accuracy 85.1%, with class-level WA 90.6% and sample-level WA 24.2%. Despite high inter-model agreement (90.8%), all models had near-zero recall for Sad, Fear, Anger, and Surprised. In this pilot, majority-class accuracy was misleading: SER poorly detected minority emotions against a noisy naturalistic reference. Clinical deployment readiness cannot be inferred from acted-corpus benchmarks without domain adaptation, multimodal modeling, stronger reference standards, and outcome validation.
- Abstract(参考訳): 音声感情認識(SER)は臨床経験における受動的影響のモニタリングを可能にするが、ほとんどのシステムは自然主義的マンダリン外来の診察よりも実験室でのスピーチで検証される。
我々は,3つのオープンソースSERモデル(emotion2vec+,SenseVoice,FunASR)を,自然主義的スピン・クリニック音声における研究者・合意基準と比較し,クラス不均衡下でのマイノリティ状態検出の評価を行った。
前向きに収集したシングルセンター録音の振り返り分析では、音声は音量正規化され、患者、家族、臨床医の間でのみ会話が維持された。
6つのカテゴリー (Happy, Sad, Fear, Anger, Neutral, Surprised) に6つのキャリブレーションアノテータをラベル付けし, 6つのカテゴリー (Happy, Sad, Fear, Anger, Neutral, Surprised) に分類した。
コンセンサスは、Fleiss kappaフィルタと低アグリメントセグメントに対する臨床適応で多数決を行った。
非重み付き精度(UA)、クラス毎のマクロ平均精度、クラス別およびサンプルレベルの重み付き精度(WA)、ブートストラップ95%CIのF1を含む。
ラベルの不均衡 (Neutral 58.5%) であり、Fleiss kappa の中央値は0.230 (IQR 0.134-0.519) であった。
SenseVoiceとFunASRはUA 61.5%(95% CI 49.2-73.8%)、マクロ平均クラス毎の精度87.2%、クラスレベルのWA 92.5%、サンプルレベルのWA 24.6%を達成した。
emotion2vec+ は UA 55.4% (95% CI 42.5-67.7%)、マクロ平均クラス毎の精度85.1%、クラスレベル WA 90.6%、サンプルレベル WA 24.2% である。
高いモデル間契約(90.8%)にもかかわらず、全てのモデルはサド、フィア、アンガー、サプライズドをほぼゼロにリコールした。
このパイロットでは、多数派階級の正確さは誤解を招く: SERは騒々しい自然主義的参照に対する少数派感情を不十分に検出した。
ドメイン適応、マルチモーダルモデリング、より強力な参照標準、結果検証なしでは、実効コーパスベンチマークから臨床展開の準備はできない。
関連論文リスト
- Auditable agentic AI for evidence-grounded thyroid ultrasound diagnosis and reporting [59.709162055944915]
ThyroidXAgentは、特殊な診断ツールをコーディネートし、その出力を監査可能なケースレベルの証拠記録として保存するエージェントAIシステムである。
NHC-MISD-TUSコホート内35施設8,721件を含む,重複しない28,458件の検査を行った。
セグメンテーションでは平均Diceスコアが87.21パーセント、良悪性分類では平均AUROCが0.9466だった。
論文 参考訳(メタデータ) (2026-08-12T21:02:59Z) - Enhancing Clinician Decision-Making via Uncertainty-Aware Multi-Expert Fusion for Stroke Rehabilitation [0.32553561239735207]
臨床的判断に取って代わるのではなく、拡張するように設計されたエンジンであるxAARAを提示する。
xAARAは、タスク、ムーブメントフェーズ、ムーブメント品質のレベルを越えて、キャリブレーションされた不確実性と説明でARATアセスメントを返します。
105回のストロークサバイバー(788回の運動)では、xAARAは94.2%のタスク精度と81.3%の移動位相精度を達成した。
論文 参考訳(メタデータ) (2026-06-23T09:00:15Z) - From Days to Minutes: An Autonomous AI Agent Achieves Reliable Clinical Triage in Remote Patient Monitoring [2.0918370570198763]
遠隔患者モニタリング(RPM)は膨大なデータを生成するが、データ量が臨床スタッフを圧倒したため、目覚ましい臨床試験(Tele-HF, BEAT-HF)は失敗した。
RPMバイタルのコンテキストトリアージにモデルコンテキストプロトコル(MCP)を用いた自律型AIエージェントSentinelを開発した。
論文 参考訳(メタデータ) (2026-03-10T00:50:54Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳(メタデータ) (2026-03-02T13:02:13Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳(メタデータ) (2026-03-02T00:50:39Z) - EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。
ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。
医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
論文 参考訳(メタデータ) (2025-09-24T14:09:55Z) - MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks [47.486705282473984]
大規模言語モデル(LLM)は、医学試験においてほぼ完璧なスコアを得る。
これらの評価は、実際の臨床実践の複雑さと多様性を不十分に反映している。
MedHELMは,医療業務におけるLCMの性能を評価するための評価フレームワークである。
論文 参考訳(メタデータ) (2025-05-26T22:55:49Z) - Perceptual Implications of Automatic Anonymization in Pathological Speech [6.299577119183197]
匿名化は、グループ間で認識される品質を一貫して低下させた。
知覚結果と音声の認識品質の相関は認められなかったが, 匿名化後の相関は認められなかった。
論文 参考訳(メタデータ) (2025-05-01T09:03:03Z) - Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
基礎モデルの幻覚は自己回帰訓練の目的から生じる。
トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
論文 参考訳(メタデータ) (2025-02-26T02:30:44Z) - Detection of subclinical atherosclerosis by image-based deep learning on chest x-ray [86.38767955626179]
460胸部X線で冠状動脈カルシウム(CAC)スコアを予測する深層学習アルゴリズムを開発した。
AICACモデルの診断精度は, 曲線下領域(AUC)で評価された。
論文 参考訳(メタデータ) (2024-03-27T16:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。