論文の概要: Task-Centric Multimodal Learning for Cognitive Impairment Detection

• arxiv url: http://arxiv.org/abs/2610.20906v1
• Date: Wed, 14 Oct 2026 20:34:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.065346
• Title: Task-Centric Multimodal Learning for Cognitive Impairment Detection
• Title（参考訳）: 認知障害検出のためのタスク中心型マルチモーダル学習
• Abstract要約: 認知症は世界中で何百万人もの高齢者に影響を与えるが、早期発見は臨床現場以外では難しい。 従来のモデルは、主にテキストや音声に基づく応答に依存しており、人間の認知の限られたビューのみを捉えている。 この研究は、Amazon Alexaとの構造化音声ベースのインタラクション中に収集されたビデオ、オーディオ、テキスト信号を活用する、接触のないマルチモーダルスクリーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.727566339713682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dementia affects millions of older adults worldwide, yet early detection remains difficult outside clinical settings. Traditional models primarily rely on text or voice-based responses, capturing only a limited view of human cognition despite the inherently multimodal nature of human expression. This work proposes a contactless, multimodal screening framework that leverages video, audio, and text signals collected during structured voice-based interactions with Amazon Alexa. By incorporating these modalities, our approach captures a more holistic representation of human behavior encompassing speech patterns, vocal characteristics, facial expressions, and linguistic structure, which may enable more accurate detection of cognitive decline. Different participants completed three conversational tasks designed to probe spontaneous speech, comprehension, and recall. We pursued three objectives: (1) evaluate which of the three Alexa tasks provides the most informative cognitive signals, (2) compare the effectiveness of unimodal models, and (3) assess the benefits of multimodal fusion models. Task-level analysis shows that the video model achieves its best performance on Command-Reading, with an accuracy of 0.65 (AUC 0.69), while the audio model performs best on Question-Answering, reaching an accuracy of 0.67 (AUC 0.73). In contrast, the multimodal model demonstrates consistently stable performance across tasks, achieving an accuracy of 0.76 (AUC 0.75) on Command-Reading and 0.76 (AUC 0.73) on Question-Answering. These findings demonstrate that multimodal behavioral cues captured through naturalistic interactions can reliably distinguish MCI from healthy aging, highlighting the limitations of traditional diagnostic paradigms and supporting the shift toward multimodal, real-world cognitive assessment frameworks.
• Abstract（参考訳）: 認知症は世界中で何百万人もの高齢者に影響を与えるが、早期発見は臨床現場以外では難しい。 伝統的なモデルは、主にテキストや音声に基づく反応に依存しており、人間表現の本質的にマルチモーダルな性質にもかかわらず、人間の認知の限られたビューのみを捉えている。 この研究は、Amazon Alexaとの構造化音声ベースのインタラクション中に収集されたビデオ、オーディオ、テキスト信号を活用する、接触のないマルチモーダルスクリーニングフレームワークを提案する。 これらのモダリティを取り入れることで、音声パターン、声の特徴、表情、言語構造を含む人間の行動をより包括的に表現し、より正確な認知低下の検出を可能にする。 それぞれの参加者は、自然発話、理解、思い出を探索するために設計された3つの会話タスクを完了した。 我々は,(1)Alexaタスクのどれが最も有意義な認知信号を提供するかを評価すること,(2)単モーダルモデルの有効性を比較すること,(3)マルチモーダル融合モデルの利点を評価すること,の3つの目的を追求した。 タスクレベルの分析では、ビデオモデルはコマンド読み上げの精度が0.65(AUC 0.69)、オーディオモデルは問合せの精度が0.67(AUC 0.73)である。 対照的に、マルチモーダルモデルはタスク間で一貫した安定なパフォーマンスを示し、コマンド読み込みでは0.76(AUC 0.75)、質問応答では0.76(AUC 0.73)の精度を達成する。 これらの結果は,MCIと健康な高齢化を確実に区別し,従来の診断パラダイムの限界を強調し,マルチモーダルな実世界認知評価フレームワークへのシフトを支援することができることを示す。

関連論文リスト

• Frozen Multimodal Embeddings for AI-Assisted Interview Assessment of Personality and Cognitive Ability [0.20999222360659606]
  本稿では,ACM Multimedia AVI Challenge 2026について述べる。 Track1は自己報告されたHEXACO性格特性を人格関連面接応答から予測し、Track2は認知能力レベルを分類する。 視覚的特徴にはCLIP、音響的特徴や文字起こしにはWhisper、テキスト表現にはRoBERTa、E5、DeBERTaV3など、凍結したマルチモーダルエンコーダを使用します。
  論文  参考訳（メタデータ） (2026-06-10T11:03:34Z)
• Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
  CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。 構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。 Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
  論文  参考訳（メタデータ） (2026-03-23T05:46:45Z)
• EgoAdapt: Enhancing Robustness in Egocentric Interactive Speaker Detection Under Missing Modalities [18.332508545927578]
  本研究では,モダリティの欠如した話者検出のための適応型フレームワークであるEgoAdaptを紹介する。 EgoAdaptには3つの重要なモジュールが組み込まれている。(1)視覚話者目標認識(VSTR)モジュールは、音声特徴抽出のためのパラレル共有オーディオ(PSA)エンコーダである。 EgoAdaptは平均平均精度(mAP)67.39%、精度(Acc)62.01%を達成する。
  論文  参考訳（メタデータ） (2026-03-18T07:55:24Z)
• Active Zero: Self-Evolving Vision-Language Models through Active Environment Exploration [72.84714132070404]
  受動的相互作用から視覚環境の能動的探索に移行する枠組みを提案する。 Active-Zeroでは,3つの共進化エージェントが採用されている。 モデルの機能フロンティアに基づいて,オープンワールドリポジトリからイメージを取得する検索だ。 12ベンチマークにわたるQwen2.5-VL-7B-インストラクションについて : Active-Zero 53.97 における推論タスクの平均精度(5.7%の改善)と一般理解における 59.77 について(3.9%の改善)
  論文  参考訳（メタデータ） (2026-02-11T17:29:17Z)
• Speech-Hands: A Self-Reflection Voice Agentic Approach to Speech Recognition and Audio Reasoning with Omni Perception [142.4692205981783]
  我々は,外部の音声知覚をいつ信頼するか,いつ外部の音声知覚を相談するかを知るという,一貫したスキルを学習する音声認識フレームワークを導入する。 音声認識と外部の音声理解タスクの両方でオムニモデルを鼻で微調整することは、しばしば性能を低下させる。 これを解決するために、我々のフレームワークであるSpeech-Handsは、問題を明示的な自己回帰決定として再考する。この学習可能なプリミティブは、モデルが欠陥のある外部候補によって脱線されるのを防ぐのに有効である。
  論文  参考訳（メタデータ） (2026-01-14T12:06:50Z)
• Unified Multi-task Learning for Voice-Based Detection of Diverse Clinical Conditions [14.745982411183766]
  プライバシを意識したマルチタスク学習フレームワークであるMARVELを,9つの異なる神経・呼吸・音声障害を同時に検出する。 当社のフレームワークは, シングルモーダルベースラインを5～19%上回り, 9タスクのうち7タスクにおいて最先端の自己監督モデルを上回っている。
  論文  参考訳（メタデータ） (2025-08-28T12:37:25Z)
• Cognitive Insights Across Languages: Enhancing Multimodal Interview Analysis [0.6062751776009752]
  軽度認知障害と認知スコアを予測できるマルチモーダルモデルを提案する。 提案モデルでは,インタビューで使用した言語を書き起こし,区別する能力を示す。 提案手法では,提案手法から得られた様々な特徴を詳細に検討する。
  論文  参考訳（メタデータ） (2024-06-11T17:59:31Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Characterizing Speech Adversarial Examples Using Self-Attention U-Net Enhancement [102.48582597586233]
  本稿では,U-Net$_At$という,U-Netに基づくアテンションモデルを提案する。 対戦型音声アタックを用いた自動音声認識(ASR)タスクの実験を行った。
  論文  参考訳（メタデータ） (2020-03-31T02:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。