論文の概要: Understanding Multilingual Medical ASR Adaptation Through Layer-Wise Analysis
- arxiv url: http://arxiv.org/abs/2608.18825v1
- Date: Wed, 19 Aug 2026 11:29:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.384433
- Title: Understanding Multilingual Medical ASR Adaptation Through Layer-Wise Analysis
- Title（参考訳）: レイヤワイズ分析による多言語医療ASR適応の理解
- Abstract要約: 多言語医療適応は、層ワイドエンコーダ分析を通じてWhisperモデルの内部表現を再評価する。
我々は、ゼロショットデコーディング、英語のみの微調整、ドイツ語のみの診断微調整、二段階EN->EN+DE継続、Whisperモデルサイズ間のEN+DE直接微調整を比較した。
- 参考スコア（独自算出の注目度）: 6.589859862828104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical automatic speech recognition (MedASR) requires adaptation to specialised terminology, limited annotated clinical data, and multilingual use cases. Although large-scale pretrained ASR models such as Whisper achieve strong generalisation, their behaviour after medical and multilingual adaptation remains insufficiently understood beyond word error rate (WER). This paper investigates how multilingual medical adaptation reshapes the internal representations of Whisper models through layer-wise encoder analysis. We compare zero-shot decoding, English-only fine-tuning, German-only diagnostic fine-tuning, two-stage EN->EN+DE continuation, and direct EN+DE fine-tuning across Whisper model sizes. Fine-tuning substantially improves MedASR performance, but the best model depends on the adaptation setting: Whisper-Medium gives the lowest English WER (7.72%) and the lowest combined EN+DE WER under direct EN+DE training (26.30%); German-only Whisper-Large-v3 gives the lowest German WER (44.96%), but as a within-corpus diagnostic on 86 single-speaker training utterances rather than robust generalisation. Layer-wise analysis of the two-stage Whisper-Small trajectory shows that English medical fine-tuning produces the dominant encoder shift, whereas multilingual continuation largely preserves the adapted representation space. Domain and language information remain highly recoverable across layers, while linearly recoverable error-predictive cues weaken as WER improves.
- Abstract（参考訳）: 医療用自動音声認識(MedASR)は、専門用語、限られた注釈付き臨床データ、多言語使用例に適応する必要がある。
Whisperのような大規模事前訓練されたASRモデルは強力な一般化を実現するが、医療や多言語適応後の行動は単語誤り率(WER)を超えても十分に理解されていない。
本稿では,多言語医療適応が層ワイドエンコーダ解析によりWhisperモデルの内部表現にどう影響するかを検討する。
我々は、ゼロショットデコーディング、英語のみの微調整、ドイツ語のみの診断微調整、二段階EN->EN+DE継続、Whisperモデルサイズ間のEN+DE直接微調整を比較した。
ウィスパー・メジウムは英語のWER (7.72%) とEN+DEのWER (26.30%)、ドイツ語のWhisper-Large-v3はドイツ語のWER (44.96%) を、強固な一般化ではなく86の単一話者訓練発話の社内診断として与えている。
2段階のWhisper-Small軌道の層ワイズ解析は、英語の医学的微調整がエンコーダシフトを支配的とすることを示しているが、多言語連続は適応された表現空間をほとんど保存している。
ドメイン情報と言語情報はレイヤ間で高度に回復可能である一方で、線形に回復可能なエラー予測キューはWERの改善とともに弱まる。
関連論文リスト
- Choosing the Right Language Mode at Inference Time for Multilingual Reliability [3.6095388702618405]
大規模な言語モデルは、低級から中級の言語では推論に苦慮することが多い。
以前の研究によると、翻訳は、より強い英語中心の表現へのアクセスを支援することで、多言語推論を改善することができる。
これは、多言語の大言語モデルが確実に推論するためにどのくらいの翻訳が必要かという、中心的な疑問を提起する。
論文 参考訳（メタデータ） (2026-09-04T02:36:26Z) - Unlocking In-Context Learning in Audio-Language Models from Decentralized Medical Audio [9.223303217530464]
本稿では,テキスト内臨床オーディオ診断のための多モーダル言語モデルフレームワークであるフェデレーション・セルフコンテキスト化(FSC)を提案する。
FSCは音声表現の教師なしクラスタリングを通じて擬似ラベルエピソードを構築し、希少な実ラベルをバイパスする。
保留中の呼吸と心臓の状態では、FSCは2方向の2ショット評価において71.6%の精度を達成し、音声のベースラインを9%以上上回っている。
論文 参考訳（メタデータ） (2026-06-22T12:28:33Z) - ClinicalEncoder26AM: A Multlilingual Diagnosable ColBERT Model; Evidences from the MultiClinNER Shared Task [1.6904475483445454]
ClinicalEncoder26AMは、臨床およびバイオメディカルテキストのための多言語診断可能なColBERTである。
患者症状, 障害, 手術スパンに対するBIOタグを微調整し, マルチClinNER共有タスクにおけるモデルの評価を行った。
論文 参考訳（メタデータ） (2026-05-27T14:20:45Z) - Reliability-Oriented Multilingual Orthopedic Diagnosis: A Domain-Adaptive Modeling and a Conceptual Validation Framework [0.0]
英語,ヒンディー語,パンジャービ語におけるフリーテキストによる多言語整形外科診断のシステムレベルでの分析を行った。
i)タスク整列型多言語トランスフォーマーエンコーダ,(ii)タスク細調整ベースライン(DistilBERT),(iii)整形テキストに適したドメイン適応型アーキテクチャの3つのモデリング方式を評価する。
論文 参考訳（メタデータ） (2026-05-04T06:20:36Z) - Adapting Self-Supervised Speech Representations for Cross-lingual Dysarthria Detection in Parkinson's Disease [72.0406069194794]
音声表現は、しばしば言語に依存した構造を符号化する。
本稿では,ソース言語による自己教師型音声表現とターゲット言語分布とを一致させる表現レベル言語シフトを提案する。
チェコ語,ドイツ語,スペイン語におけるパーキンソン病音声データセットの経口DDK記録に対するアプローチについて検討した。
論文 参考訳（メタデータ） (2026-03-23T17:23:39Z) - Adapting Where It Matters: Depth-Aware Adaptation for Efficient Multilingual Speech Recognition in Low-Resource Languages [11.808922632545874]
我々は多言語自動音声認識モデルを分析し、U字型適応パターンを明らかにする。
本稿では,各レイヤの役割に応じて適応能力を割り当てる,深層対応モデル適応フレームワークDAMAを提案する。
Damaは、最先端の精度とトレーニング可能なパラメータを80%削減し、極端なデータ不足下で29%のエラー削減を実現し、ベースラインよりもメモリ、トレーニング時間、計算効率を大幅に改善する。
論文 参考訳（メタデータ） (2026-02-01T04:18:31Z) - Beyond the Final Layer: Intermediate Representations for Better Multilingual Calibration in Large Language Models [50.34755385896279]
大規模言語モデル(LLM)の信頼性確保には信頼度校正が不可欠である
6つのモデルファミリーと100以上の言語にまたがる多言語キャリブレーションの大規模かつ体系的な研究を行う。
非英語言語は体系的に悪い校正に苦しむ。
論文 参考訳（メタデータ） (2025-10-03T16:07:15Z) - SwasthLLM: a Unified Cross-Lingual, Multi-Task, and Meta-Learning Zero-Shot Framework for Medical Diagnosis Using Contrastive Representations [0.4077787659104315]
SwasthLLMは、医用診断のための統一、ゼロショット、クロスランガル、マルチタスク学習フレームワークである。
英語、ヒンディー語、ベンガル語で、言語固有の微調整を必要としない。
SwasthLLMは97.22%、F1スコア97.17%という高い診断性能を達成している。
論文 参考訳（メタデータ） (2025-09-24T21:20:49Z) - Improving Multilingual ASR in the Wild Using Simple N-best Re-ranking [68.77659513993507]
我々は,多言語ASRの精度を向上させるため,単純かつ効果的なN-best再分類手法を提案する。
その結果, 音声認識の精度は8.7%, 6.1%, 単語誤り率は3.3%, 単語誤り率は2.0%であった。
論文 参考訳（メタデータ） (2024-09-27T03:31:32Z) - High-resource Language-specific Training for Multilingual Neural Machine
Translation [109.31892935605192]
負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。
具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。
HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
論文 参考訳（メタデータ） (2022-07-11T14:33:13Z) - Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging
Features For Elderly And Dysarthric Speech Recognition [55.25565305101314]
調音機能は音響信号歪みに不変であり、音声認識システムにうまく組み込まれている。
本稿では,A2Aモデルにおける24時間TaLコーパスの並列音声・超音波舌画像(UTI)データを利用したクロスドメインおよびクロスランガルA2Aインバージョン手法を提案する。
生成した調音機能を組み込んだ3つのタスクの実験は、ベースラインのTDNNとコンフォーマーASRシステムより一貫して優れていた。
論文 参考訳（メタデータ） (2022-06-15T07:20:28Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。