論文の概要: Listening Between the Lines: Joint Learning of ASR Embeddings and LLM-Augmented Linguistics for Dementia Detection

• arxiv url: http://arxiv.org/abs/2606.30675v1
• Date: Fri, 26 Jun 2026 08:21:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:18.948514
• Title: Listening Between the Lines: Joint Learning of ASR Embeddings and LLM-Augmented Linguistics for Dementia Detection
• Title（参考訳）: ASR埋め込みの連成学習と認知症検出のためのLLM強化言語学
• Abstract要約: 音声分析による認知症の早期発見は、非侵襲的なスクリーニング代替手段を提供するが、音響的および言語的バイオマーカーの両方をキャプチャすることは依然として困難である。 本稿では,Whisperを多目的抽出に活用したマルチモーダルフレームワークを提案する。 アコースティックパスでは、アテンションを持つ時間ネットワークが、集合的可変長列を固定次元埋め込みにプーリングする。 言語経路において,語彙の多様性,構文的複雑性,意味的一貫性,談話パターンにまたがる解釈可能な特徴を抽出する大規模言語モデル(LLM)を提案する。
• 参考スコア（独自算出の注目度）: 3.4155322317700585
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Early detection of dementia through speech analysis offers a non-invasive screening alternative, but capturing both acoustic and linguistic biomarkers remains challenging. We propose a multimodal framework leveraging Whisper for dual-purpose extraction: acoustic representations from encoder outputs and transcripts via automatic speech recognition (ASR). For the acoustic pathway, temporal networks with attention pooling aggregate variable-length sequences into fixed-dimensional embeddings. For the linguistic pathway, we prompt a large language model (LLM) to extract interpretable features spanning lexical diversity, syntactic complexity, semantic coherence, and discourse patterns. A gated fusion network integrates both modalities. On ADReSS and ADReSSo, our method achieves F1-scores of 89.47% and 90.14%, demonstrating effective integration of acoustic and LLM-augmented linguistic features. Ablation shows that multimodal fusion consistently outperforms either modality alone.
• Abstract（参考訳）: 音声分析による認知症の早期発見は、非侵襲的なスクリーニング代替手段を提供するが、音響的および言語的バイオマーカーの両方をキャプチャすることは依然として困難である。 本稿では,Whisperを多目的抽出に活用したマルチモーダルフレームワークを提案する。 アコースティックパスでは、アテンションを持つ時間ネットワークが、集合的可変長列を固定次元埋め込みにプーリングする。 言語経路においては,語彙の多様性,構文的複雑性,意味的一貫性,談話パターンにまたがる解釈可能な特徴を抽出するために,大規模言語モデル(LLM)を誘導する。 ゲート融合ネットワークは、両方のモダリティを統合する。 ADReSSとADReSSoでは, 89.47%, 90.14%のF1スコアを達成し, 音声とLLMを付加した言語的特徴の効果的な統合を実証した。 アブレーションは、マルチモーダル融合がモダリティ単独よりも一貫して優れていることを示している。

関連論文リスト

• Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models [6.567438338350837]
  音声信号は認知低下に関連する言語マーカーと音響マーカーの両方を符号化する。 大規模言語モデル(LLM)の最近の進歩は,音声に基づく評価の可能性を高めている。 本稿では,音声音声と対応する書き起こしを統合したオープンソースのLLMに基づくマルチモーダルCI検出フレームワークを提案する。 本研究は、CI識別のための新しい最先端技術を確立し、提案手法により、より優れたクロスデータセットの一般化を実証する。
  論文  参考訳（メタデータ） (2026-07-23T16:43:12Z)
• LoRA-Tuned Large Language Models for Dementia Detection via Multi-View Speech-Derived Features [3.4155322317700585]
  そこで本研究では,4つの補完音声から得られる信号に対して,構造化多視点推論を行うローランク適応 (LoRA) 付き大言語モデル (LLM) を提案する。 ADReSSoではF1スコア90.14%を達成し,それぞれのビューの補完的寄与をアブレーションで確認した。
  論文  参考訳（メタデータ） (2026-06-26T08:29:31Z)
• A Multimodal Framework for Dementia Detection via Linguistic and Acoustic Representation Learning [10.559333552210434]
  アルツハイマー病は認知症の主要な原因であり、記憶、推論、コミュニケーション、日常生活に影響を及ぼす。 近年の研究では、自発音声には認知症に関連する貴重な言語的・音響的バイオマーカーが含まれていることが示されている。 本稿では,言語情報と書き起こし情報をエンドツーエンドのトレーニング可能な方法で共同で活用する,認知症自動検出のためのマルチモーダルディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T07:57:49Z)
• Optimizing Conversational Quality in Spoken Dialogue Systems with Reinforcement Learning from AI Feedback [82.70507055599093]
  本稿では,マルチターン・チェーン・オブ・ソートモデルとブロックワイド・デュプレックスモデルの両方において,SDSの品質向上のための選好学習に関する最初の体系的研究を行う。 実験により, 単一回帰RLAIFは目標距離を選択的に改善し, 連立多重回帰学習は意味的品質と音声の自然性において一貫した利得が得られることが示された。
  論文  参考訳（メタデータ） (2026-01-27T00:55:14Z)
• Probing the Hidden Talent of ASR Foundation Models for L2 English Oral Assessment [17.656808708384435]
  本稿では,ASR基盤モデルであるWhisperの未完成の可能性を探る。 隠れ表現から音響的特徴と言語的特徴を抽出し,その潜在能力を更に探究する。 我々はWhisperの埋め込みの詳細な分析を行い、タスク固有の微調整がなくても、本モデルが本質的に音声の順序的習熟パターンと意味的側面の両方を符号化することを示した。
  論文  参考訳（メタデータ） (2025-10-18T08:10:24Z)
• Linguistic and Audio Embedding-Based Machine Learning for Alzheimer's Dementia and Mild Cognitive Impairment Detection: Insights from the PROCESS Challenge [0.0]
  音声は、音響的次元と言語的次元の両方を包含し、認知の低下に対して有望な非侵襲的バイオマーカーを提供する。 本稿では,自然発声音声からの音声埋め込みと言語的特徴を両立させるプロシージャチャレンジのための機械学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:54:55Z)
• New Insights into Optimal Alignment of Acoustic and Linguistic Representations for Knowledge Transfer in ASR [30.00166986946003]
  我々は、アライメントとマッチングを検出問題とみなすために、新たな洞察を得る。 目標は、高精度で意味のある対応を識別し、言語トークンの完全なカバレッジを確保することである。 分布ミスマッチと構造的非対称性を明示的に扱う不均衡な輸送ベースアライメントモデルを提案する。
  論文  参考訳（メタデータ） (2025-09-06T05:58:52Z)
• Towards Inclusive Communication: A Unified Framework for Generating Spoken Language from Sign, Lip, and Audio [52.859261069569165]
  音声テキスト生成のための手話,唇の動き,音声の多様な組み合わせを扱える最初の統一フレームワークを提案する。 i)不均一な入力を効果的に処理できる統一されたモダリティ非依存アーキテクチャの設計、(ii)モダリティ間の過小評価された相乗効果の探索、特に手話理解における非手動的手がかりとしての唇運動の役割、(iii)個々のタスクに特化した最先端モデルと同等以上のパフォーマンスを達成すること、の3つの目的に焦点をあてる。
  論文  参考訳（メタデータ） (2025-08-28T06:51:42Z)
• It's Never Too Late: Fusing Acoustic Information into Large Language Models for Automatic Speech Recognition [70.77292069313154]
  大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。 本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
  論文  参考訳（メタデータ） (2024-02-08T07:21:45Z)
• Exploring the Integration of Speech Separation and Recognition with Self-Supervised Learning Representation [83.36685075570232]
  本研究は,ASRフロントエンドとしての残響・雑音・残響シナリオにおける音声分離に関する洞察に富んだ研究である。 我々は,マルチチャネル分離法,マスクベースのビームフォーミング,複雑なスペクトルマッピング,およびASRバックエンドモデルで使用する最良の特徴について検討する。 TF-GridNetベースの複素スペクトルマッピングとWavLMベースのSSLRを併用することで、残響WHAMRテストセットにおいて2.5%のワードエラー率が得られる。
  論文  参考訳（メタデータ） (2023-07-23T05:39:39Z)
• Audio-visual multi-channel speech separation, dereverberation and recognition [70.34433820322323]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。 LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T04:16:03Z)
• End-to-End Active Speaker Detection [58.7097258722291]
  本稿では,特徴学習と文脈予測を共同で学習するエンド・ツー・エンドのトレーニングネットワークを提案する。 また、時間間グラフニューラルネットワーク(iGNN)ブロックを導入し、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割する。 実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-03-27T08:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。