論文の概要: Context-Aware Attention Layers coupled with Optimal Transport Domain
Adaptation methods for recognizing dementia from spontaneous speech
- arxiv url: http://arxiv.org/abs/2305.16406v1
- Date: Thu, 25 May 2023 18:18:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 18:35:33.201284
- Title: Context-Aware Attention Layers coupled with Optimal Transport Domain
Adaptation methods for recognizing dementia from spontaneous speech
- Title（参考訳）: 自発音声から認知症を識別する最適輸送領域適応法とコンテキスト認識注意層
- Authors: Loukas Ilias, Dimitris Askounis
- Abstract要約: アルツハイマー病(英語: Alzheimer's disease、AD)は、認知症の主要な原因である複雑な神経認知疾患である。
そこで本研究では,AD患者検出のための新しい手法を提案する。
ADReSS Challengeデータセットで行った実験は、既存の研究イニシアチブに対して導入したアプローチの有効性を示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Alzheimer's disease (AD) constitutes a complex neurocognitive disease and is
the main cause of dementia. Although many studies have been proposed targeting
at diagnosing dementia through spontaneous speech, there are still limitations.
Existing state-of-the-art approaches, which propose multimodal methods, train
separately language and acoustic models, employ majority-vote approaches, and
concatenate the representations of the different modalities either at the input
level, i.e., early fusion, or during training. Also, some of them employ
self-attention layers, which calculate the dependencies between representations
without considering the contextual information. In addition, no prior work has
taken into consideration the model calibration. To address these limitations,
we propose some new methods for detecting AD patients, which capture the intra-
and cross-modal interactions. First, we convert the audio files into log-Mel
spectrograms, their delta, and delta-delta and create in this way an image per
audio file consisting of three channels. Next, we pass each transcript and
image through BERT and DeiT models respectively. After that, context-based
self-attention layers, self-attention layers with a gate model, and optimal
transport domain adaptation methods are employed for capturing the intra- and
inter-modal interactions. Finally, we exploit two methods for fusing the self
and cross-attended features. For taking into account the model calibration, we
apply label smoothing. We use both performance and calibration metrics.
Experiments conducted on the ADReSS Challenge dataset indicate the efficacy of
our introduced approaches over existing research initiatives with our best
performing model reaching Accuracy and F1-score up to 91.25% and 91.06%
respectively.
- Abstract（参考訳）: アルツハイマー病(ad)は複雑な神経認知疾患であり、認知症の主な原因である。
自発的発話による認知症診断を目標とする研究が数多く提案されているが、まだ限界がある。
既存の最先端のアプローチでは、マルチモーダルな手法を提案し、言語と音響モデルを個別に訓練し、多数投票のアプローチを採用し、入力レベル、すなわち早期融合または訓練中に異なるモーダルの表現を結合する。
また、文脈情報を考慮せずに表現間の依存関係を計算するセルフアテンション層も採用している。
また,モデル校正に関する先行研究は行われていない。
これらの制約に対処するため,AD患者検出のための新しい手法を提案する。
まず、オーディオファイルをlog-mel spectrograms、delta、delta-deltaに変換し、3つのチャンネルからなるオーディオファイル毎の画像を作成する。
次に、各転写文字と画像をそれぞれBERTモデルとDeiTモデルに渡す。
その後、コンテキストベースの自己アテンション層、ゲートモデル付き自己アテンション層、および最適なトランスポートドメイン適応法を用いて、モーダル内およびモーダル間相互作用をキャプチャする。
最後に, 自己と横断的特徴を融合する2つの手法を活用した。
モデルキャリブレーションを考慮した場合,ラベル平滑化を適用する。
パフォーマンスとキャリブレーションの両方のメトリクスを使用します。
adressチャレンジデータセットで実施した実験は、既存の研究活動に対して導入したアプローチが、それぞれ91.25%、f1-scoreが91.25%、91.06%の精度に達するという効果を示している。
関連論文リスト
- Towards Within-Class Variation in Alzheimer's Disease Detection from Spontaneous Speech [60.08015780474457]
アルツハイマー病(AD)の検出は、機械学習の分類モデルを使用する有望な研究領域として浮上している。
我々は、AD検出において、クラス内変異が重要な課題であると考え、ADを持つ個人は認知障害のスペクトルを示す。
本稿では,ソフトターゲット蒸留 (SoTD) とインスタンスレベルの再分散 (InRe) の2つの新しい手法を提案する。
論文 参考訳（メタデータ） (2024-09-22T02:06:05Z) - Diagnosing Alzheimer's Disease using Early-Late Multimodal Data Fusion
with Jacobian Maps [1.5501208213584152]
アルツハイマー病(英語: Alzheimer's disease、AD)は、老化に影響を及ぼす神経変性疾患である。
本稿では,自動特徴抽出とランダム森林のための畳み込みニューラルネットワークを利用する,効率的な早期融合(ELF)手法を提案する。
脳の容積の微妙な変化を検出するという課題に対処するために、画像をヤコビ領域(JD)に変換する。
論文 参考訳（メタデータ） (2023-10-25T19:02:57Z) - Domain Adaptive Synapse Detection with Weak Point Annotations [63.97144211520869]
弱点アノテーションを用いたドメイン適応型シナプス検出のためのフレームワークであるAdaSynを提案する。
I SBI 2023のWASPSYNチャレンジでは、我々の手法が第1位にランクインした。
論文 参考訳（メタデータ） (2023-08-31T05:05:53Z) - Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites:
A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。
我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。
また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
論文 参考訳（メタデータ） (2023-08-31T00:36:10Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳（メタデータ） (2023-05-23T01:24:15Z) - Leveraging Pretrained Representations with Task-related Keywords for
Alzheimer's Disease Detection [69.53626024091076]
アルツハイマー病(AD)は高齢者に特に顕著である。
事前学習モデルの最近の進歩は、AD検出モデリングを低レベル特徴から高レベル表現にシフトさせる動機付けとなっている。
本稿では,高レベルの音響・言語的特徴から,より優れたAD関連手がかりを抽出する,いくつかの効率的な手法を提案する。
論文 参考訳（メタデータ） (2023-03-14T16:03:28Z) - Neural Architecture Search with Multimodal Fusion Methods for Diagnosing
Dementia [14.783829037950984]
アルツハイマー型認知症を認知するための機械学習手法と併用した自然発話の活用が話題となっている。
CNNアーキテクチャを見つけるのは時間を要するプロセスであり、専門知識を必要とする。
マルチモーダル因子化バイリニアポーリングやタッカー分解などの融合手法を用いて、音声とテキストの両モードを合成する。
論文 参考訳（メタデータ） (2023-02-12T11:25:29Z) - A Multimodal Approach for Dementia Detection from Spontaneous Speech
with Tensor Fusion Layer [0.0]
アルツハイマー病(英語: Alzheimer's disease、AD)は、記憶、思考能力、精神能力に影響を及ぼす進行性神経疾患である。
我々は、エンドツーエンドのトレーニング可能な方法でトレーニングし、モーダル間相互作用とモーダル間相互作用をキャプチャできるディープニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2022-11-08T16:43:58Z) - Multiple Sclerosis Lesions Segmentation using Attention-Based CNNs in
FLAIR Images [0.2578242050187029]
多発性硬化症(Multiple Sclerosis、MS)は、中枢神経系の病変を引き起こす自己免疫性脱髄性疾患である。
今のところ、病変の分断には多要素自動バイオメディカルアプローチが多用されている。
著者らは1つのモダリティ(FLAIR画像)を用いてMS病変を正確に分類する方法を提案する。
論文 参考訳（メタデータ） (2022-01-05T21:37:43Z) - Detecting Dementia from Speech and Transcripts using Transformers [0.0]
アルツハイマー病(英語: Alzheimer's disease, AD)は、治療法がないため早期に診断されない場合、日常生活に深刻な影響を与える神経変性疾患である。
現在の研究は、自然発声から認知症を診断することに焦点を当てている。
論文 参考訳（メタデータ） (2021-10-27T21:00:01Z) - Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant
Disease Diagnosis [64.82680813427054]
植物病は食料安全保障と作物生産に対する主要な脅威の1つである。
1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。
本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-17T09:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。