論文の概要: Dementia Insights: A Context-Based MultiModal Approach
- arxiv url: http://arxiv.org/abs/2503.01226v1
- Date: Mon, 03 Mar 2025 06:46:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:14:20.124861
- Title: Dementia Insights: A Context-Based MultiModal Approach
- Title(参考訳): Dementia Insights: コンテキストベースのマルチモーダルアプローチ
- Authors: Sahar Sinene Mehdoui, Abdelhamid Bouzid, Daniel Sierra-Sosa, Adel Elmaghraby,
- Abstract要約: 早期発見は、病気の進行を遅らせる可能性のあるタイムリーな介入に不可欠である。
テキストと音声のための大規模事前学習モデル(LPM)は、認知障害の識別において有望であることを示している。
本研究は,テキストデータと音声データを最高の性能のLPMを用いて統合する,コンテキストベースのマルチモーダル手法を提案する。
- 参考スコア(独自算出の注目度): 0.3749861135832073
- License:
- Abstract: Dementia, a progressive neurodegenerative disorder, affects memory, reasoning, and daily functioning, creating challenges for individuals and healthcare systems. Early detection is crucial for timely interventions that may slow disease progression. Large pre-trained models (LPMs) for text and audio, such as Generative Pre-trained Transformer (GPT), Bidirectional Encoder Representations from Transformers (BERT), and Contrastive Language-Audio Pretraining (CLAP), have shown promise in identifying cognitive impairments. However, existing studies generally rely heavily on expert-annotated datasets and unimodal approaches, limiting robustness and scalability. This study proposes a context-based multimodal method, integrating both text and audio data using the best-performing LPMs in each modality. By incorporating contextual embeddings, our method improves dementia detection performance. Additionally, motivated by the effectiveness of contextual embeddings, we further experimented with a context-based In-Context Learning (ICL) as a complementary technique. Results show that GPT-based embeddings, particularly when fused with CLAP audio features, achieve an F1-score of $83.33\%$, surpassing state-of-the-art dementia detection models. Furthermore, raw text data outperforms expert-annotated datasets, demonstrating that LPMs can extract meaningful linguistic and acoustic patterns without extensive manual labeling. These findings highlight the potential for scalable, non-invasive diagnostic tools that reduce reliance on costly annotations while maintaining high accuracy. By integrating multimodal learning with contextual embeddings, this work lays the foundation for future advancements in personalized dementia detection and cognitive health research.
- Abstract(参考訳): 進行性神経変性疾患である認知症は、記憶、推論、日々の機能に影響を与え、個人や医療システムに課題を生じさせる。
早期発見は、病気の進行を遅らせる可能性のあるタイムリーな介入に不可欠である。
GPT(Generative Pre-trained Transformer)、BERT(Bidirectional Encoder Representations from Transformers)、CLAP(Contrastive Language-Audio Pretraining)など、テキストとオーディオのための大規模な事前学習モデル(LPM)は、認知障害の識別において有望であることを示している。
しかし、既存の研究は、一般的に専門家が注釈付けしたデータセットとユニモーダルアプローチに大きく依存しており、堅牢性とスケーラビリティを制限している。
本研究では,テキストデータと音声データの両方を,各モードで最高の性能のLPMを用いて統合する,コンテキストベースのマルチモーダル手法を提案する。
文脈埋め込みを組み込むことで認知症検出性能を向上させる。
さらに,文脈埋め込みの有効性を動機として,文脈に基づく文脈学習(ICL)を補完的手法として実験した。
GPTベースの埋め込み、特にCLAPオーディオ機能と融合した場合、F1スコアは8.33 %で、最先端の認知症検出モデルを上回っている。
さらに、生のテキストデータは専門家による注釈付きデータセットよりも優れており、LPMが広範な手動ラベリングなしで意味のある言語的・音響的パターンを抽出できることを実証している。
これらの知見は、高い精度を維持しつつ、コストのかかるアノテーションへの依存を減らす、スケーラブルで非侵襲的な診断ツールの可能性を強調している。
この研究は、マルチモーダル学習と文脈埋め込みを統合することで、パーソナライズされた認知症の検出と認知健康研究における将来の進歩の基盤となる。
関連論文リスト
- DECT: Harnessing LLM-assisted Fine-Grained Linguistic Knowledge and Label-Switched and Label-Preserved Data Generation for Diagnosis of Alzheimer's Disease [13.38075448636078]
アルツハイマー病(英: Alzheimer's Disease、AD)は、世界中で5000万人が発症する、不可逆的な神経変性疾患である。
言語障害は認知低下の最も初期の兆候の1つであり、AD患者を正常なコントロール個人と区別するために使用することができる。
患者間対話はそのような障害を検出するために用いられるが、曖昧でうるさい、無関係な情報と混同されることが多い。
論文 参考訳(メタデータ) (2025-02-06T04:00:25Z) - Devising a Set of Compact and Explainable Spoken Language Feature for Screening Alzheimer's Disease [52.46922921214341]
アルツハイマー病(AD)は高齢化社会において最も重要な健康問題の一つとなっている。
我々は,大言語モデル(LLM)とTF-IDFモデルの視覚的機能を活用する,説明可能な効果的な機能セットを考案した。
当社の新機能は、自動ADスクリーニングの解釈可能性を高めるステップバイステップで説明し、解釈することができる。
論文 参考訳(メタデータ) (2024-11-28T05:23:22Z) - A BERT-Based Summarization approach for depression detection [1.7363112470483526]
うつ病は世界中で流行する精神疾患であり、対処されないと深刻な反感を引き起こす可能性がある。
機械学習と人工知能は、さまざまなデータソースからのうつ病指標を自律的に検出することができる。
本研究では,入力テキストの長さと複雑さを低減させる前処理手法として,テキスト要約を提案する。
論文 参考訳(メタデータ) (2024-09-13T02:14:34Z) - When LLMs Meets Acoustic Landmarks: An Efficient Approach to Integrate Speech into Large Language Models for Depression Detection [17.018248242646365]
抑うつは世界的メンタルヘルスにおいて重要な関心事であり、AIに基づく検出方法の広範な研究を促している。
大規模言語モデル(LLM)は、メンタルヘルスケアアプリケーションにおいて、その汎用性において際立っている。
マルチモーダル抑うつ検出のためのLLMフレームワークに音声情報を統合するための革新的なアプローチを提案する。
論文 参考訳(メタデータ) (2024-02-17T09:39:46Z) - Improving Language Models Meaning Understanding and Consistency by
Learning Conceptual Roles from Dictionary [65.268245109828]
現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。
驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。
本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-24T06:15:15Z) - A New Benchmark and Reverse Validation Method for Passage-level
Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。
本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。
提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文 参考訳(メタデータ) (2023-10-10T10:14:59Z) - Automatically measuring speech fluency in people with aphasia: first
achievements using read-speech data [55.84746218227712]
本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
論文 参考訳(メタデータ) (2023-08-09T07:51:40Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Leveraging Pretrained Representations with Task-related Keywords for
Alzheimer's Disease Detection [69.53626024091076]
アルツハイマー病(AD)は高齢者に特に顕著である。
事前学習モデルの最近の進歩は、AD検出モデリングを低レベル特徴から高レベル表現にシフトさせる動機付けとなっている。
本稿では,高レベルの音響・言語的特徴から,より優れたAD関連手がかりを抽出する,いくつかの効率的な手法を提案する。
論文 参考訳(メタデータ) (2023-03-14T16:03:28Z) - Acoustic-Linguistic Features for Modeling Neurological Task Score in
Alzheimer's [1.290382979353427]
自然言語処理と機械学習はアルツハイマー病を確実に検出するための有望な技術を提供する。
我々は,10種類の線形回帰モデルの性能を比較し,比較した。
与えられたタスクに対して,手作りの言語的特徴は音響的特徴や学習的特徴よりも重要であることがわかった。
論文 参考訳(メタデータ) (2022-09-13T15:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。