論文の概要: Two-stage Temporal Modelling Framework for Video-based Depression
Recognition using Graph Representation
- arxiv url: http://arxiv.org/abs/2111.15266v1
- Date: Tue, 30 Nov 2021 10:26:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-12-01 22:54:24.662931
- Title: Two-stage Temporal Modelling Framework for Video-based Depression
Recognition using Graph Representation
- Title(参考訳): グラフ表現を用いたビデオベース抑うつ認識のための2段階時間モデルフレームワーク
- Abstract要約: マルチスケールの短期的・ビデオレベルの顔行動からうつ病の重症度をモデル化する2段階のフレームワークを提案する。
抑うつ機能強化(DFE)モジュールは、すべての時間スケールに対する抑うつ関連手がかりを強化するために提案される。
生成したグラフ表現は、短期および長期の顔面行動パターンを用いてうつ病の重症度を予測する。
- 参考スコア(独自算出の注目度): 7.074267438793975
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Video-based automatic depression analysis provides a fast, objective and
repeatable self-assessment solution, which has been widely developed in recent
years. While depression clues may be reflected by human facial behaviours of
various temporal scales, most existing approaches either focused on modelling
depression from short-term or video-level facial behaviours. In this sense, we
propose a two-stage framework that models depression severity from multi-scale
short-term and video-level facial behaviours. The short-term depressive
behaviour modelling stage first deep learns depression-related facial
behavioural features from multiple short temporal scales, where a Depression
Feature Enhancement (DFE) module is proposed to enhance the depression-related
clues for all temporal scales and remove non-depression noises. Then, the
video-level depressive behaviour modelling stage proposes two novel graph
encoding strategies, i.e., Sequential Graph Representation (SEG) and Spectral
Graph Representation (SPG), to re-encode all short-term features of the target
video into a video-level graph representation, summarizing depression-related
multi-scale video-level temporal information. As a result, the produced graph
representations predict depression severity using both short-term and long-term
facial beahviour patterns. The experimental results on AVEC 2013 and AVEC 2014
datasets show that the proposed DFE module constantly enhanced the depression
severity estimation performance for various CNN models while the SPG is
superior than other video-level modelling methods. More importantly, the result
achieved for the proposed two-stage framework shows its promising and solid
performance compared to widely-used one-stage modelling approaches.
- Abstract(参考訳): ビデオベースの自動うつ病解析は、高速で客観的で反復可能な自己評価ソリューションを提供し、近年広く開発されている。
うつ病の手がかりは、様々な時間的スケールの人間の顔行動に反映されるかもしれないが、ほとんどの既存のアプローチは、短期的またはビデオレベルの顔行動からうつ病をモデル化することに焦点を当てている。
この意味では、多段階の短期的およびビデオレベルの顔行動からうつ病の重症度をモデル化する2段階フレームワークを提案する。
短期抑うつ行動モデリングステージ1は、抑うつに関連した表情特徴を複数の短時間尺度から深く学習し、全ての時間的尺度の抑うつ関連手がかりを強化し、非抑うつ音を除去するために抑うつ特徴強調(dfe)モジュールを提案する。
次に、ビデオレベルの抑うつ行動モデリングステージは、ターゲットビデオのすべての短期的特徴をビデオレベルグラフ表現に再符号化し、うつ病関連多スケールビデオレベル時間情報に要約する、2つの新しいグラフ符号化戦略、すなわちシーケンシャルグラフ表現(seg)とスペクトルグラフ表現(spg)を提案する。
その結果、生成したグラフ表現は、短期および長期の顔面行動パターンを用いてうつ病の重症度を予測する。
AVEC 2013 と AVEC 2014 データセットの実験結果から,提案した DFE モジュールは様々な CNN モデルに対して,SPG が他のビデオレベルのモデリング手法よりも優れているのに対して,プレッシャー重大度推定性能を常に向上させることを示した。
さらに重要なことに、提案された2段階のフレームワークで得られた結果は、広く使われている1段階のモデリングアプローチと比較して、有望で堅実なパフォーマンスを示している。
関連論文リスト
- Expresso-AI: Explainable Video-Based Deep Learning Models for Depression Diagnosis [16.226234971636636]
本稿では,ディープ・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ネットワーク(Deep Neural Networks)による顔画像の学習における決定を解析するための新しい枠組みを提案する。
我々のフレームワークは、顔領域と時間的表現意味論を調べることによって、モデルの正当性マップを解釈することができる。
論文 参考訳(メタデータ) (2026-06-24T09:14:53Z) - MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Hierarchical Graph Memory and Agentic Retrieval Mechanism [70.69809410471993]
現在のVision-Language Modelsは、フル長のビジュアルシーケンスを処理することによって、禁止されたトークンの爆発と注意の希釈を引き起こすため、数時間のビデオに苦労している。
我々はMemDreamerを導入し、知覚と推論を分離し、長いビデオ理解をエージェント探索プロセスに移行する。
MemDreamerは4つの主要なベンチマークでSOTAの結果を達成し、人間の専門家とのギャップをわずか3.7ポイントに縮める。
論文 参考訳(メタデータ) (2026-06-05T17:59:21Z) - Psychologically-Grounded Graph Modeling for Interpretable Depression Detection [36.72827968050813]
対話型セッションを動的時間グラフとしてモデル化するフレームワークであるPsyGATを提案する。
Causal-PsyGATも紹介した。
実験では、因果指標を特定するためのMRRが20%改善されている。
論文 参考訳(メタデータ) (2026-04-27T07:27:45Z) - MA-DLE: Speech-based Automatic Depression Level Estimation via Memory Augmentation [59.709198999959206]
音声に基づく抑うつ状態の自動推定は、早期発見と時間的介入を可能にするために不可欠である。
既存のアプローチのほとんどは、うつ病推定のための時間情報をモデル化するためにRNNベースのアーキテクチャに依存している。
本稿では,GRU抽出した特徴の表現能力を向上するメモリベースの特徴拡張手法を提案する。
論文 参考訳(メタデータ) (2026-04-20T14:42:13Z) - All-in-One Video Restoration under Smoothly Evolving Unknown Weather Degradations [102.94052335735326]
All-in-one画像復元は、単一のモデルを用いて、さまざまな未知の劣化からクリーンなイメージを復元することを目的としている。
既存のアプローチは主に、現実世界の劣化過程に自然に存在する時間的連続性を見越して、フレームワイドの劣化変動に焦点を当てている。
Smoothly Evolving Unknown Degradations (SEUD) のシナリオでは、アクティブな劣化セットと劣化強度の両方が時間とともに連続的に変化する。
論文 参考訳(メタデータ) (2026-01-02T02:20:57Z) - DepFlow: Disentangled Speech Generation to Mitigate Semantic Bias in Depression Detection [54.209716321122194]
抑うつ条件付きテキスト音声合成フレームワークであるDepFlowについて述べる。
抑うつ音響カモフラージュは、対向訓練を通じて話者と内容不変の抑うつ埋め込みを学習する。
フローマッチングTTSモデルとFiLM変調はこれらの埋め込みを合成に注入し、うつ病の重症度を制御する。
プロトタイプベースの重度マッピング機構は、うつ病連続体を滑らかかつ解釈可能な操作を提供する。
論文 参考訳(メタデータ) (2026-01-01T10:44:38Z) - VIPER: Process-aware Evaluation for Generative Video Reasoning [64.86465792516658]
我々は、時間的、構造的、象徴的、空間的、物理的、計画的推論にまたがる16のタスクにまたがる包括的なベンチマークVIPERを紹介する。
実験の結果,現状の映像モデルでは約20%のPOC@1.0しか達成できず,良好な結果が得られた。
論文 参考訳(メタデータ) (2025-12-31T16:31:59Z) - LMILAtt: A Deep Learning Model for Depression Detection from Social Media Users Enhanced by Multi-Instance Learning Based on Attention Mechanism [2.398386906858336]
うつ病は世界的な公衆衛生上の大きな課題であり、早期の身元確認は極めて重要である。
本研究ではLMILAttモデルを提案し,Long Short-Term Memory Autoencoderとアテンション機構を統合した。
実験により、精度、リコール、F1スコアの点で、モデルがベースラインモデルよりもはるかに優れていることが示された。
論文 参考訳(メタデータ) (2025-09-30T11:58:32Z) - On the Validity of Head Motion Patterns as Generalisable Depression Biomarkers [5.251042759836316]
本研究は,うつ病重症度推定のための基本頭部運動単位を用いたモデルの有効性と一般性について検討する。
異なる西欧文化からの3つの抑うつデータセットを考察し, キネムパターンの一般化可能性について検討した。
1) 頭部運動パターンは, 抑うつの重症度を推定するための効果的なバイオマーカーであり, 分類と回帰の両タスクにおいて高い競争力を発揮する。
論文 参考訳(メタデータ) (2025-05-29T13:22:30Z) - DIFFVSGG: Diffusion-Driven Online Video Scene Graph Generation [61.59996525424585]
DIFFVSGGはオンラインのVSGGソリューションで、このタスクを反復的なシーングラフ更新問題とみなしている。
オブジェクト分類の復号化、境界ボックス回帰、グラフ生成の3つのタスクを1つの共有特徴埋め込みを用いて統合する。
DIFFVSGGはさらに、後続のフレームの予測が過去のフレームの結果をLCMの条件入力として活用する継続的時間的推論を促進する。
論文 参考訳(メタデータ) (2025-03-18T06:49:51Z) - Towards Scalable and Deep Graph Neural Networks via Noise Masking [59.058558158296265]
グラフニューラルネットワーク(GNN)は多くのグラフマイニングタスクで顕著に成功している。
計算とストレージのコストが高いため、大きなグラフにスケールすることは困難です。
既存のモデル単純化作業と互換性のあるプラグアンドプレイモジュールであるノイズマスキング(RMask)を用いたランダムウォークを提案する。
論文 参考訳(メタデータ) (2024-12-19T07:48:14Z) - MOGAM: A Multimodal Object-oriented Graph Attention Model for Depression Detection [5.506046101113427]
ソーシャルメディアにおける抑うつを検知するためのMOGAM(Multimodal Object-Oriented Graph Attention Model)を提案する。
本モデルでは,うつ病の症状を確実に把握するために,臨床診断を行うユーザからのvlogしか含まない。
MOGAMは0.871の精度とF1スコア0.888の精度を達成した。
論文 参考訳(メタデータ) (2024-03-21T07:45:58Z) - From Static to Dynamic: Adapting Landmark-Aware Image Models for Facial Expression Recognition in Videos [88.08209394979178]
野生における動的表情認識(DFER)は、データ制限によって依然として妨げられている。
抽出された顔のランドマーク認識機能に暗黙的に符号化された既存のSFER知識と動的情報を活用する新しい静的・動的モデル(S2D)を提案する。
論文 参考訳(メタデータ) (2023-12-09T03:16:09Z) - Dynamic Graph Representation Learning for Depression Screening with
Transformer [13.551342607089184]
ソーシャルメディアプラットフォームは、メンタルヘルスを調査し、精神疾患の事例を検出する研究機会を提供する。
既存の抑うつ検出手法は,特徴工学への依存と時間的要因の考慮の欠如により制約される。
提案するContrastEgoは,各ユーザを動的時間進化型属性グラフ(ego-network)として扱う。
ContrastEgoは、様々な実験環境におけるすべての有効性指標において、最先端の手法を著しく上回っていることを示す。
論文 参考訳(メタデータ) (2023-05-10T20:34:40Z) - Perceptual Quality Assessment of Face Video Compression: A Benchmark and
An Effective Method [69.868145936998]
生成的符号化アプローチは、合理的な速度歪曲トレードオフを持つ有望な代替手段として認識されている。
従来のハイブリッドコーディングフレームワークから生成モデルまで、空間的・時間的領域における歪みの多様さは、圧縮顔画像品質評価(VQA)における大きな課題を提示する。
大規模圧縮顔画像品質評価(CFVQA)データベースを導入し,顔ビデオの知覚的品質と多角化圧縮歪みを体系的に理解するための最初の試みである。
論文 参考訳(メタデータ) (2023-04-14T11:26:09Z) - Bayesian Networks for the robust and unbiased prediction of depression
and its symptoms utilizing speech and multimodal data [65.28160163774274]
我々は,抑うつ,抑うつ症状,および,胸腺で収集された音声,表情,認知ゲームデータから得られる特徴の関連性を把握するためにベイズ的枠組みを適用した。
論文 参考訳(メタデータ) (2022-11-09T14:48:13Z) - STRPM: A Spatiotemporal Residual Predictive Model for High-Resolution
Video Prediction [78.129039340528]
本稿では,高解像度映像予測のための時間残差予測モデル(STRPM)を提案する。
STRPMは、既存の様々な方法と比較して、より満足な結果を得ることができる。
実験の結果, STRPMは既存手法と比較して良好な結果が得られた。
論文 参考訳(メタデータ) (2022-03-30T06:24:00Z) - A Hierarchical Spatio-Temporal Graph Convolutional Neural Network for
Anomaly Detection in Videos [11.423072255384469]
これらの問題に対処する階層型時空間グラフ畳み込みニューラルネットワーク(HSTGCNN)を提案する。
HSTGCNNは、グラフ表現の異なるレベルに対応する複数のブランチで構成されている。
高レベルグラフ表現は、低解像度ビデオにおける人々の移動速度と方向を符号化するために、高レベルグラフ表現は、高解像度ビデオにおける人間の骨格を符号化するために、高レベルグラフ表現が割り当てられる。
論文 参考訳(メタデータ) (2021-12-08T14:03:33Z) - Learning Multi-Granular Hypergraphs for Video-Based Person
Re-Identification [110.52328716130022]
ビデオベースの人物識別(re-ID)はコンピュータビジョンにおいて重要な研究課題である。
MGH(Multi-Granular Hypergraph)という新しいグラフベースのフレームワークを提案する。
MARSの90.0%のトップ-1精度はMGHを用いて達成され、最先端のスキームよりも優れていた。
論文 参考訳(メタデータ) (2021-04-30T11:20:02Z) - Deep Multi-task Learning for Depression Detection and Prediction in
Longitudinal Data [50.02223091927777]
うつ病は最も多い精神疾患の1つであり、世界中の年齢の何百万人もの人々に影響を与えている。
機械学習技術は、早期介入と治療のためのうつ病の自動検出と予測を可能にしている。
本稿では、この課題に対処するために、2つの補助的タスクでうつ病分類を共同最適化する、新しいディープマルチタスクリカレントニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2020-12-05T05:14:14Z) - Hierarchical Autoregressive Modeling for Neural Video Compression [44.1797885347606]
我々は、最近のニューラルビデオ圧縮手法を、一般化された時間的自己回帰変換の例と見なしている。
大規模ビデオデータに対する包括的評価は、最先端のニューラル圧縮法と従来のビデオ圧縮法に比較して、速度歪み性能が向上したことを示している。
論文 参考訳(メタデータ) (2020-10-19T03:01:33Z) - Multimodal Depression Severity Prediction from medical bio-markers using
Machine Learning Tools and Technologies [0.0]
うつ病は世界中の精神疾患の主要な原因となっている。
近年,うつ病の診断とステージ予測の自動化に行動的手がかりが用いられている。
ラベル付き行動データセットの欠如と、膨大な量のバリエーションが、タスクを達成する上で大きな課題であることが証明されている。
論文 参考訳(メタデータ) (2020-09-11T20:44:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。