論文の概要: Recurrent Transformer Encoders for Vision-based Estimation of Fatigue
and Engagement in Cognitive Training Sessions
- arxiv url: http://arxiv.org/abs/2304.12470v1
- Date: Mon, 24 Apr 2023 21:58:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 22:37:28.033821
- Title: Recurrent Transformer Encoders for Vision-based Estimation of Fatigue
and Engagement in Cognitive Training Sessions
- Title（参考訳）: 認知訓練セッションにおける視覚による疲労・エンゲージメント推定のためのリカレントトランスフォーマーエンコーダ
- Authors: Yanchen Wang, Yunlong Xu, Feng Vankee Lin, Ehsan Adeli
- Abstract要約: 軽度認知障害(MCI)を有する高齢者のコンピュータ認知トレーニングセッションにおけるエンゲージメントを予測することを提案する。
我々はコンピュータビジョンを使用し、5秒毎にビデオフレームを分析し、情報保持とデータサイズのバランスを最適化し、新しいリカレントビデオ変換器(RVT)を開発した。
我々のRVTモデルは、クリップワイドトランスフォーマーエンコーダモジュールとセッションワイドリカレントニューラルネットワーク(RNN)分類器を組み合わせて、他の最先端モデルと比較して高いバランス精度、F1スコア、精度を達成した。
- 参考スコア（独自算出の注目度）: 10.417497674982737
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The effectiveness of computerized cognitive training in slowing cognitive
decline and brain aging in dementia is often limited by the engagement of
participants in the training. Monitoring older users' real-time engagement in
domains of attention, motivation, and affect is crucial to understanding the
overall effectiveness of such training. In this paper, we propose to predict
engagement, quantified via an established mental fatigue measure assessing
users' perceived attention, motivation, and affect throughout computerized
cognitive training sessions, in older adults with mild cognitive impairment
(MCI), by monitoring their real-time video-recorded facial gestures in training
sessions. To achieve the goal, we used computer vision, analyzing video frames
every 5 seconds to optimize the balance between information retention and data
size, and developed a novel Recurrent Video Transformer (RVT). Our RVT model,
which combines a clip-wise transformer encoder module and a session-wise
Recurrent Neural Network (RNN) classifier, achieved the highest balanced
accuracy, F1 score, and precision compared to other state-of-the-art models for
both detecting mental fatigue/disengagement cases (binary classification) and
rating the level of mental fatigue (multi-class classification). By leveraging
dynamic temporal information, the RVT model demonstrates the potential to
accurately predict engagement among computerized cognitive training users,
which lays the foundation for future work to modulate the level of engagement
in computerized cognitive training interventions. The code will be released.
- Abstract（参考訳）: 認知症の認知低下と脳老化を遅らせるコンピュータ認知トレーニングの有効性は、トレーニング参加者の関与によって制限されることが多い。
注意、モチベーション、影響の領域における高齢者のリアルタイムエンゲージメントのモニタリングは、こうしたトレーニングの全体的な効果を理解する上で重要である。
本稿では,高齢者の認知障害(MCI)の認知訓練セッション中におけるユーザの注意力,モチベーション,影響を,リアルタイムの映像記録による顔のジェスチャーをモニタリングすることで評価し,心的疲労測定によって定量化したエンゲージメントを予測することを提案する。
この目的を達成するために,コンピュータビジョンを用いて5秒毎にビデオフレームを分析し,情報保持とデータサイズとのバランスを最適化し,新しいリカレントビデオトランスフォーマ(rvt)を開発した。
我々のRVTモデルは、クリップワイドトランスフォーマーエンコーダモジュールとセッションワイドリカレントニューラルネットワーク(RNN)分類器を組み合わせることで、精神疲労・解離症例(バイナリ分類)の検出と精神疲労のレベルの評価(マルチクラス分類)において、他の最先端モデルと比較して高いバランス精度、F1スコア、精度を達成した。
rvtモデルは、動的時間的情報を活用することによって、コンピュータ化された認知訓練ユーザの関与を正確に予測する可能性を実証する。
コードはリリースされます。
関連論文リスト
- Assessing cognitive function among older adults using machine learning and wearable device data: a feasibility study [3.0872517448897465]
健常成人と認知不良高齢者を区別する予測モデルを開発した。
活動と睡眠パラメータは、他の認知流速と比較して、処理速度、作業記憶、注意に強く関連していた。
論文 参考訳（メタデータ） (2023-08-28T00:07:55Z) - TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential
Modelling [54.97005925277638]
潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。
SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。
そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
論文 参考訳（メタデータ） (2023-08-25T08:54:41Z) - Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。
実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。
したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
論文 参考訳（メタデータ） (2023-07-14T08:51:03Z) - Concurrent ischemic lesion age estimation and segmentation of CT brain
using a Transformer-based network [8.80381582892208]
本稿では,脳虚血病変の同時分節と年齢推定に最適化された,エンドツーエンドのマルチタスク・トランスフォーマー・ネットワークを提案する。
従来手法の0.858と比較すると, 病変年齢を4.5時間に分類するための曲線(AUC)が0.933未満の領域で, 有望な性能が得られる。
論文 参考訳（メタデータ） (2023-06-21T13:00:49Z) - Modeling cognitive load as a self-supervised brain rate with
electroencephalography and deep learning [2.741266294612776]
本研究では,脳波データからメンタルワークロードをモデリングするための,新たな自己教師型手法を提案する。
脳波データからスペクトル地形図を空間的に保存して脳速度変数に適合させることができる畳み込みリカレントニューラルネットワークである。
学習した認知活性化の準安定なブロックの存在は、それらは畳み込みによって誘導され、時間とともに互いに依存していないように見えるため、脳反応の非定常的性質と直感的に一致している。
論文 参考訳（メタデータ） (2022-09-21T07:44:21Z) - Automated Fidelity Assessment for Strategy Training in Inpatient
Rehabilitation using Natural Language Processing [53.096237570992294]
戦略トレーニング (Strategy Training) とは、脳卒中後の認知障害患者に障害を減らすためのスキルを教える、リハビリテーションのアプローチである。
標準化された忠実度評価は治療原則の遵守度を測定するために用いられる。
本研究では,ルールベースNLPアルゴリズム,長短項メモリ(LSTM)モデル,および変換器(BERT)モデルからの双方向エンコーダ表現を開発した。
論文 参考訳（メタデータ） (2022-09-14T15:33:30Z) - Learning Human Cognitive Appraisal Through Reinforcement Memory Unit [63.83306892013521]
逐次評価タスクにおける人間の認知評価の効果を生かしたリカレントニューラルネットワークのためのメモリ強調機構を提案する。
記憶増強機構を2つの正および負の強化記憶とともに評価状態を含む強化記憶ユニット(RMU)として概念化する。
論文 参考訳（メタデータ） (2022-08-06T08:56:55Z) - Efficient Learning and Decoding of the Continuous-Time Hidden Markov
Model for Disease Progression Modeling [119.50438407358862]
本稿では,CT-HMMモデルに対する効率的なEMベースの学習手法の完全な特徴付けについて述べる。
EMに基づく学習は、後状態確率の推定と、状態条件付き統計量の計算という2つの課題から成り立っていることを示す。
緑内障データセットとアルツハイマー病データセットを用いて,100以上の状態のCT-HMMを用いて疾患進行の可視化と予測を行う。
論文 参考訳（メタデータ） (2021-10-26T20:06:05Z) - Understanding Cognitive Fatigue from fMRI Scans with Self-supervised
Learning [0.0]
本稿では, 認知疲労の状態を, 不快感から極度の疲労状態まで, 6つのレベルに分けることを提案する。
我々は,空間的特徴抽出に畳み込みニューラルネットワーク(CNN)を用い,4次元fMRIスキャンの時間的モデリングに長寿命メモリ(LSTM)ネットワークを構築した。
本手法は,fMRIデータから認知疲労を解析するための最先端技術を確立し,従来の手法に勝ってこの問題を解決する。
論文 参考訳（メタデータ） (2021-06-28T22:38:51Z) - Low-Precision Reinforcement Learning [63.930246183244705]
教師付き学習における計算時間、メモリフットプリント、エネルギー消費を減らすために、低精度トレーニングが一般的なアプローチになっている。
本稿では,最先端のsacエージェントを用いた継続的制御について検討し,教師あり学習による低精度適応が失敗することを実証する。
論文 参考訳（メタデータ） (2021-02-26T16:16:28Z) - Facial Electromyography-based Adaptive Virtual Reality Gaming for
Cognitive Training [5.033176361795483]
認知トレーニングの文献でよく引用される2つの問題は、トレーニングプログラムへのユーザエンゲージメントの欠如と、日々の生活を一般化するための発達したスキルの欠如である。
本稿では,これらの2つの制約に対処するために,新しい認知訓練(CT)パラダイムを導入する。
顔の筋電図(EMG)は、CTタスクに携わる際のユーザへの影響を判断する手段として用いられる。
この情報は、ユーザがプレイする際のゲームの難易度を動的に調整するために利用され、フロー状態に導くことを目的としている。
論文 参考訳（メタデータ） (2020-04-27T10:01:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。