論文の概要: Graph Modelling Analysis of Speech-Gesture Interaction for Aphasia Severity Estimation
- arxiv url: http://arxiv.org/abs/2602.20163v1
- Date: Tue, 27 Jan 2026 14:11:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-02 07:21:25.633417
- Title: Graph Modelling Analysis of Speech-Gesture Interaction for Aphasia Severity Estimation
- Title（参考訳）: 失語症重症度推定のための音声・ジェスチャー相互作用のグラフモデリング解析
- Authors: Navya Martin Kollapally, Christa Akers, Renjith Nelson Joseph,
- Abstract要約: 失語症(英: aphasia)は、言語に責任がある脳の部位に損傷を負うことによって引き起こされる言語障害である。
最近の音声分析の進歩は、自発音声からの失語度の自動推定に焦点を当てている。
本研究では,失語症の重症度を推定するためのグラフニューラルネットワークに基づくフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Aphasia is an acquired language disorder caused by injury to the regions of the brain that are responsible for language. Aphasia may impair the use and comprehension of written and spoken language. The Western Aphasia Battery-Revised (WAB-R) is an assessment tool administered by speech-language pathologists (SLPs) to evaluate the aphasia type and severity. Because the WAB-R measures isolated linguistic skills, there has been growing interest in the assessment of discourse production as a more holistic representation of everyday language abilities. Recent advancements in speech analysis focus on automated estimation of aphasia severity from spontaneous speech, relying mostly in isolated linguistic or acoustical features. In this work, we propose a graph neural network-based framework for estimating aphasia severity. We represented each participant's discourse as a directed multi-modal graph, where nodes represent lexical items and gestures and edges encode word-word, gesture-word, and word-gesture transitions. GraphSAGE is employed to learn participant-level embeddings, thus integrating information from immediate neighbors and overall graph structure. Our results suggest that aphasia severity is not encoded in isolated lexical distribution, but rather emerges from structured interactions between speech and gesture. The proposed architecture offers a reliable automated aphasia assessment, with possible uses in bedside screening and telehealth-based monitoring.
- Abstract（参考訳）: 失語症(英: aphasia)は、言語に責任がある脳の部位に損傷を負うことによって引き起こされる言語障害である。
失語症は、書き言葉や話し言葉の使用と理解を損なう可能性がある。
The Western Aphasia Battery-Revised (WAB-R) は、言語病理医(SLP)が失語タイプと重症度を評価するための評価ツールである。
WAB-Rは、孤立した言語スキルを測定するため、日常的な言語能力のより包括的な表現として、談話制作の評価への関心が高まっている。
近年の音声分析の進歩は, 言語的特徴や音響的特徴に大きく依存する自発音声からの失語度の自動推定に焦点が当てられている。
本研究では,失語症の重症度を推定するためのグラフニューラルネットワークに基づくフレームワークを提案する。
我々は,各参加者の言説を多モーダルグラフとして表現し,各ノードが単語,ジェスチャー,単語・ジェスチャーの遷移を符号化した語彙項目,ジェスチャー,エッジを表現した。
GraphSAGEは参加者レベルの埋め込みを学習するために使用され、即時隣人や全体のグラフ構造からの情報を統合する。
以上の結果から,失語症重大度は単独の語彙分布では符号化されず,むしろ音声とジェスチャー間の構造的相互作用から生じることが示唆された。
提案アーキテクチャは、ベッドサイドスクリーニングと遠隔医療ベースのモニタリングに使用できる信頼性の高い自動失語評価を提供する。
関連論文リスト
- Linguistic Indicators of Early Cognitive Decline in the DementiaBank Pitt Corpus: A Statistical and Machine Learning Study [4.417564179511245]
本研究では,3つの言語表現を用いて,DementiaBank Pitt Corpusからの自発音声の書き起こしを分析する。
構文的および文法的特徴は、語彙内容が欠如していても、強力な識別力を保持する。
本研究は,透明で信頼性の高い言語ベース認知スクリーニングにおける言語基盤機能の利用を支援する。
論文 参考訳（メタデータ） (2026-02-11T16:53:57Z) - Revisiting Modality Invariance in a Multilingual Speech-Text Model via Neuron-Level Analysis [15.638379666159127]
言語とモダリティの情報を符号化した場所、選択的ニューロンがデコードにどのように影響するか、そしてこの影響がネットワーク全体にどの程度集中しているかについて検討する。
我々は,平均精度ランキングを用いて言語選択性ニューロンとモダリティ選択性ニューロンを同定し,その機能的役割を推定時に中心的置換介入を用いて検討し,言語とモダリティ間のアクティベーション・マグニチュードの不平等を解析した。
論文 参考訳（メタデータ） (2026-01-24T09:22:18Z) - Towards Inclusive Communication: A Unified Framework for Generating Spoken Language from Sign, Lip, and Audio [52.859261069569165]
音声テキスト生成のための手話,唇の動き,音声の多様な組み合わせを扱える最初の統一フレームワークを提案する。
i)不均一な入力を効果的に処理できる統一されたモダリティ非依存アーキテクチャの設計、(ii)モダリティ間の過小評価された相乗効果の探索、特に手話理解における非手動的手がかりとしての唇運動の役割、(iii)個々のタスクに特化した最先端モデルと同等以上のパフォーマンスを達成すること、の3つの目的に焦点をあてる。
論文 参考訳（メタデータ） (2025-08-28T06:51:42Z) - Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
言語混乱に関する最初の機械論的解釈可能性研究について述べる。
混乱点(CP)がこの現象の中心であることを示す。
比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
論文 参考訳（メタデータ） (2025-05-22T11:29:17Z) - Language-Agnostic Analysis of Speech Depression Detection [2.5764071253486636]
本研究は、英語とマラヤラムの2言語間での自動抑うつ検出を解析する。
CNNモデルは、両言語に焦点をあてて、抑うつに関連する音響的特徴を特定するために訓練される。
その結果,言語に依存しない抑うつ検出システムの開発に寄与する可能性が示唆された。
論文 参考訳（メタデータ） (2024-09-23T07:35:56Z) - Acoustic characterization of speech rhythm: going beyond metrics with
recurrent neural networks [0.0]
我々は,21言語における音声記録の大規模データベース上で,言語識別タスク上で繰り返しニューラルネットワークを訓練する。
ネットワークは、40%のケースで10秒の録音の言語を識別することができ、その3分の2はトップ3の推測だった。
論文 参考訳（メタデータ） (2024-01-22T09:49:44Z) - BrainLLM: Generative Language Decoding from Brain Recordings [77.66707255697706]
本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。
提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。
本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
論文 参考訳（メタデータ） (2023-11-16T13:37:21Z) - Reformulating NLP tasks to Capture Longitudinal Manifestation of
Language Disorders in People with Dementia [18.964022118823532]
我々は中程度の大きさの事前学習言語モデルを用いて言語障害パターンを学習する。
次に、最良モデルからの確率推定値を用いて、デジタル言語マーカーを構築する。
提案する言語障害マーカーは,疾患進行に伴う言語障害に関する有用な知見を提供する。
論文 参考訳（メタデータ） (2023-10-15T17:58:47Z) - Automatically measuring speech fluency in people with aphasia: first
achievements using read-speech data [55.84746218227712]
本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
論文 参考訳（メタデータ） (2023-08-09T07:51:40Z) - Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。
我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文 参考訳（メタデータ） (2022-08-25T10:01:43Z) - Pose-based Body Language Recognition for Emotion and Psychiatric Symptom
Interpretation [75.3147962600095]
通常のRGBビデオから始まるボディーランゲージに基づく感情認識のための自動フレームワークを提案する。
心理学者との連携により,精神症状予測の枠組みを拡張した。
提案されたフレームワークの特定のアプリケーションドメインは限られた量のデータしか供給しないため、フレームワークは小さなトレーニングセットで動作するように設計されている。
論文 参考訳（メタデータ） (2020-10-30T18:45:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。