論文の概要: Detecting Dementia from Speech and Transcripts using Transformers
- arxiv url: http://arxiv.org/abs/2110.14769v1
- Date: Wed, 27 Oct 2021 21:00:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 13:40:40.029746
- Title: Detecting Dementia from Speech and Transcripts using Transformers
- Title（参考訳）: トランスフォーマーを用いた音声・書き起こしからの認知症検出
- Authors: Loukas Ilias, Dimitris Askounis, John Psarras
- Abstract要約: アルツハイマー病(英語: Alzheimer's disease, AD)は、治療法がないため早期に診断されない場合、日常生活に深刻な影響を与える神経変性疾患である。
現在の研究は、自然発声から認知症を診断することに焦点を当てている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Alzheimer's disease (AD) constitutes a neurodegenerative disease with serious
consequences to peoples' everyday lives, if it is not diagnosed early since
there is no available cure. Because of the cost of examinations for diagnosing
dementia, i.e., Magnetic Resonance Imaging (MRI), electroencephalogram (EEG)
signals etc., current work has been focused on diagnosing dementia from
spontaneous speech. However, little work has been done regarding the conversion
of speech data to Log-Mel spectrograms and Mel-frequency cepstral coefficients
(MFCCs) and the usage of pretrained models. Concurrently, little work has been
done in terms of both the usage of transformer networks and the way the two
modalities, i.e., speech and transcripts, are combined in a single neural
network. To address these limitations, first we employ several pretrained
models, with Vision Transformer (ViT) achieving the highest evaluation results.
Secondly, we propose multimodal models. More specifically, our introduced
models include Gated Multimodal Unit in order to control the influence of each
modality towards the final classification and crossmodal attention so as to
capture in an effective way the relationships between the two modalities.
Extensive experiments conducted on the ADReSS Challenge dataset demonstrate the
effectiveness of the proposed models and their superiority over
state-of-the-art approaches.
- Abstract（参考訳）: アルツハイマー病(英語: Alzheimer's disease, AD)は、治療法がないため早期に診断されない場合、日常生活に深刻な影響を与える神経変性疾患である。
認知症診断のための検査コスト、すなわち磁気共鳴画像(mri)、脳波(eeg)信号など、現在の研究は、認知症を自発的な言語から診断することに焦点を当てている。
しかし、Log-Melスペクトルとメル周波数ケプストラム係数(MFCC)への音声データの変換や事前訓練されたモデルの使用についてはほとんど研究されていない。
同時に、トランスフォーマーネットワークの使用法と、音声と文字起こしという2つのモダリティを1つのニューラルネットワークで組み合わせる方法については、ほとんど研究されていない。
これらの制限に対処するために,まずは視覚トランスフォーマー (vit) を用いて事前学習したモデルをいくつか採用し,最も高い評価結果を得た。
次に,マルチモーダルモデルを提案する。
より具体的には、最終分類に対する各モードの影響を制御し、2つのモード間の関係を効果的に把握するために、Gated Multimodal Unitを含む。
ADReSS Challengeデータセットで実施された大規模な実験は、提案したモデルの有効性と最先端アプローチよりも優れていることを実証している。
関連論文リスト
- GFE-Mamba: Mamba-based AD Multi-modal Progression Assessment via Generative Feature Extraction from MCI [5.355943545567233]
アルツハイマー病(英語: Alzheimer's Disease、AD)は、軽度認知障害(MCI)から進行する可逆性神経変性疾患である。
生成特徴抽出(GFE)に基づく分類器GFE-Mambaを紹介する。
評価尺度、MRI、PETのデータを統合し、より深いマルチモーダル融合を可能にする。
GFE-MambaモデルがMCIからADへの変換予測に有効であることを示す。
論文 参考訳（メタデータ） (2024-07-22T15:22:33Z) - Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。
本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
論文 参考訳（メタデータ） (2024-07-08T09:08:42Z) - Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。
提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。
医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2024-03-19T09:28:19Z) - Cross-modality Guidance-aided Multi-modal Learning with Dual Attention
for MRI Brain Tumor Grading [47.50733518140625]
脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。
本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
論文 参考訳（メタデータ） (2024-01-17T07:54:49Z) - Diagnosing Alzheimer's Disease using Early-Late Multimodal Data Fusion
with Jacobian Maps [1.5501208213584152]
アルツハイマー病(英語: Alzheimer's disease、AD)は、老化に影響を及ぼす神経変性疾患である。
本稿では,自動特徴抽出とランダム森林のための畳み込みニューラルネットワークを利用する,効率的な早期融合(ELF)手法を提案する。
脳の容積の微妙な変化を検出するという課題に対処するために、画像をヤコビ領域(JD)に変換する。
論文 参考訳（メタデータ） (2023-10-25T19:02:57Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳（メタデータ） (2023-06-09T03:02:36Z) - Context-aware attention layers coupled with optimal transport domain
adaptation and multimodal fusion methods for recognizing dementia from
spontaneous speech [0.0]
アルツハイマー病(英語: Alzheimer's disease、AD)は、認知症の主要な原因である複雑な神経認知疾患である。
そこで本研究では,AD患者検出のための新しい手法を提案する。
ADReSSとADReSSo Challengeで実施した実験は、既存の研究イニシアチブに対して導入したアプローチの有効性を示している。
論文 参考訳（メタデータ） (2023-05-25T18:18:09Z) - Improving Deep Facial Phenotyping for Ultra-rare Disorder Verification
Using Model Ensembles [52.77024349608834]
我々は、DCNNを最先端の顔認識手法であるiResNetとArcFaceに置き換える影響を分析する。
提案するアンサンブルモデルにより,目視と目視の両障害に対する最先端のパフォーマンスが達成される。
論文 参考訳（メタデータ） (2022-11-12T23:28:54Z) - A Multimodal Approach for Dementia Detection from Spontaneous Speech
with Tensor Fusion Layer [0.0]
アルツハイマー病(英語: Alzheimer's disease、AD)は、記憶、思考能力、精神能力に影響を及ぼす進行性神経疾患である。
我々は、エンドツーエンドのトレーニング可能な方法でトレーニングし、モーダル間相互作用とモーダル間相互作用をキャプチャできるディープニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2022-11-08T16:43:58Z) - Differential Diagnosis of Frontotemporal Dementia and Alzheimer's
Disease using Generative Adversarial Network [0.0]
前頭側頭性認知症とアルツハイマー病は2種類の認知症であり、互いに誤診しやすい。
2種類の認知症を区別することは、疾患特異的な介入と治療を決定するのに不可欠である。
医用画像処理分野におけるディープラーニングベースのアプローチの最近の発展は、多くのバイナリ分類タスクにおいて、最高のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2021-09-12T22:40:50Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳（メタデータ） (2021-02-26T02:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。