論文の概要: Detecting Dementia from Speech and Transcripts using Transformers
- arxiv url: http://arxiv.org/abs/2110.14769v1
- Date: Wed, 27 Oct 2021 21:00:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 13:40:40.029746
- Title: Detecting Dementia from Speech and Transcripts using Transformers
- Title(参考訳): トランスフォーマーを用いた音声・書き起こしからの認知症検出
- Authors: Loukas Ilias, Dimitris Askounis, John Psarras
- Abstract要約: アルツハイマー病(英語: Alzheimer's disease, AD)は、治療法がないため早期に診断されない場合、日常生活に深刻な影響を与える神経変性疾患である。
現在の研究は、自然発声から認知症を診断することに焦点を当てている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Alzheimer's disease (AD) constitutes a neurodegenerative disease with serious
consequences to peoples' everyday lives, if it is not diagnosed early since
there is no available cure. Because of the cost of examinations for diagnosing
dementia, i.e., Magnetic Resonance Imaging (MRI), electroencephalogram (EEG)
signals etc., current work has been focused on diagnosing dementia from
spontaneous speech. However, little work has been done regarding the conversion
of speech data to Log-Mel spectrograms and Mel-frequency cepstral coefficients
(MFCCs) and the usage of pretrained models. Concurrently, little work has been
done in terms of both the usage of transformer networks and the way the two
modalities, i.e., speech and transcripts, are combined in a single neural
network. To address these limitations, first we employ several pretrained
models, with Vision Transformer (ViT) achieving the highest evaluation results.
Secondly, we propose multimodal models. More specifically, our introduced
models include Gated Multimodal Unit in order to control the influence of each
modality towards the final classification and crossmodal attention so as to
capture in an effective way the relationships between the two modalities.
Extensive experiments conducted on the ADReSS Challenge dataset demonstrate the
effectiveness of the proposed models and their superiority over
state-of-the-art approaches.
- Abstract(参考訳): アルツハイマー病(英語: Alzheimer's disease, AD)は、治療法がないため早期に診断されない場合、日常生活に深刻な影響を与える神経変性疾患である。
認知症診断のための検査コスト、すなわち磁気共鳴画像(mri)、脳波(eeg)信号など、現在の研究は、認知症を自発的な言語から診断することに焦点を当てている。
しかし、Log-Melスペクトルとメル周波数ケプストラム係数(MFCC)への音声データの変換や事前訓練されたモデルの使用についてはほとんど研究されていない。
同時に、トランスフォーマーネットワークの使用法と、音声と文字起こしという2つのモダリティを1つのニューラルネットワークで組み合わせる方法については、ほとんど研究されていない。
これらの制限に対処するために,まずは視覚トランスフォーマー (vit) を用いて事前学習したモデルをいくつか採用し,最も高い評価結果を得た。
次に,マルチモーダルモデルを提案する。
より具体的には、最終分類に対する各モードの影響を制御し、2つのモード間の関係を効果的に把握するために、Gated Multimodal Unitを含む。
ADReSS Challengeデータセットで実施された大規模な実験は、提案したモデルの有効性と最先端アプローチよりも優れていることを実証している。
関連論文リスト
- Cross-modality Guidance-aided Multi-modal Learning with Dual Attention
for MRI Brain Tumor Grading [47.50733518140625]
脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。
本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
論文 参考訳(メタデータ) (2024-01-17T07:54:49Z) - Diagnosing Alzheimer's Disease using Early-Late Multimodal Data Fusion
with Jacobian Maps [1.5501208213584152]
アルツハイマー病(英語: Alzheimer's disease、AD)は、老化に影響を及ぼす神経変性疾患である。
本稿では,自動特徴抽出とランダム森林のための畳み込みニューラルネットワークを利用する,効率的な早期融合(ELF)手法を提案する。
脳の容積の微妙な変化を検出するという課題に対処するために、画像をヤコビ領域(JD)に変換する。
論文 参考訳(メタデータ) (2023-10-25T19:02:57Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳(メタデータ) (2023-06-09T03:02:36Z) - Context-aware attention layers coupled with optimal transport domain
adaptation and multimodal fusion methods for recognizing dementia from
spontaneous speech [0.0]
アルツハイマー病(英語: Alzheimer's disease、AD)は、認知症の主要な原因である複雑な神経認知疾患である。
そこで本研究では,AD患者検出のための新しい手法を提案する。
ADReSSとADReSSo Challengeで実施した実験は、既存の研究イニシアチブに対して導入したアプローチの有効性を示している。
論文 参考訳(メタデータ) (2023-05-25T18:18:09Z) - The role of noise in denoising models for anomaly detection in medical
images [62.0532151156057]
病理脳病変は脳画像に多彩な外観を示す。
正規データのみを用いた教師なし異常検出手法が提案されている。
空間分解能の最適化と雑音の大きさの最適化により,異なるモデル学習体制の性能が向上することを示す。
論文 参考訳(メタデータ) (2023-01-19T21:39:38Z) - Improving Deep Facial Phenotyping for Ultra-rare Disorder Verification
Using Model Ensembles [52.77024349608834]
我々は、DCNNを最先端の顔認識手法であるiResNetとArcFaceに置き換える影響を分析する。
提案するアンサンブルモデルにより,目視と目視の両障害に対する最先端のパフォーマンスが達成される。
論文 参考訳(メタデータ) (2022-11-12T23:28:54Z) - A Multimodal Approach for Dementia Detection from Spontaneous Speech
with Tensor Fusion Layer [0.0]
アルツハイマー病(英語: Alzheimer's disease、AD)は、記憶、思考能力、精神能力に影響を及ぼす進行性神経疾患である。
我々は、エンドツーエンドのトレーニング可能な方法でトレーニングし、モーダル間相互作用とモーダル間相互作用をキャプチャできるディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-11-08T16:43:58Z) - Differential Diagnosis of Frontotemporal Dementia and Alzheimer's
Disease using Generative Adversarial Network [0.0]
前頭側頭性認知症とアルツハイマー病は2種類の認知症であり、互いに誤診しやすい。
2種類の認知症を区別することは、疾患特異的な介入と治療を決定するのに不可欠である。
医用画像処理分野におけるディープラーニングベースのアプローチの最近の発展は、多くのバイナリ分類タスクにおいて、最高のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2021-09-12T22:40:50Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:29:30Z) - Multimodal Gait Recognition for Neurodegenerative Diseases [38.06704951209703]
3つの神経変性疾患の歩容差を学習するための新しいハイブリッドモデルを提案する。
新しい相関メモリニューラルネットワークアーキテクチャは、時間的特徴を抽出するために設計されている。
いくつかの最先端技術と比較して,提案手法はより正確な分類結果を示す。
論文 参考訳(メタデータ) (2021-01-07T10:17:11Z) - Predicting Clinical Diagnosis from Patients Electronic Health Records
Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。
本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。
約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文 参考訳(メタデータ) (2020-07-15T09:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。