論文の概要: Depression Diagnosis and Analysis via Multimodal Multi-order Factor
Fusion
- arxiv url: http://arxiv.org/abs/2301.00254v1
- Date: Sat, 31 Dec 2022 17:13:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 14:28:07.840582
- Title: Depression Diagnosis and Analysis via Multimodal Multi-order Factor
Fusion
- Title(参考訳): マルチモーダル多次因子融合による抑うつ診断と解析
- Authors: Chengbo Yuan, Qianhui Xu and Yong Luo
- Abstract要約: うつ病は世界中で主要な死因であり、うつ病の診断は簡単ではない。
うつ病の自動診断のためのMMFF法を提案する。
- 参考スコア(独自算出の注目度): 4.991507302519828
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Depression is a leading cause of death worldwide, and the diagnosis of
depression is nontrivial. Multimodal learning is a popular solution for
automatic diagnosis of depression, and the existing works suffer two main
drawbacks: 1) the high-order interactions between different modalities can not
be well exploited; and 2) interpretability of the models are weak. To remedy
these drawbacks, we propose a multimodal multi-order factor fusion (MMFF)
method. Our method can well exploit the high-order interactions between
different modalities by extracting and assembling modality factors under the
guide of a shared latent proxy. We conduct extensive experiments on two recent
and popular datasets, E-DAIC-WOZ and CMDC, and the results show that our method
achieve significantly better performance compared with other existing
approaches. Besides, by analyzing the process of factor assembly, our model can
intuitively show the contribution of each factor. This helps us understand the
fusion mechanism.
- Abstract(参考訳): うつ病は世界中で主要な死因であり、うつ病の診断は非自明である。
マルチモーダル学習はうつ病の自動診断の一般的な解決策であり、既存の研究は2つの大きな欠点を負っている。
1) 異なるモダリティ間の高次相互作用は十分に活用できない。
2)モデルの解釈性は弱い。
これらの欠点を補うために,マルチモーダル多次因子融合法(MMFF)を提案する。
本手法は,共有潜在プロキシのガイドの下でモダリティ因子を抽出,組み立てることで,異なるモダリティ間の高次相互作用を効果的に活用できる。
本研究では,最近普及した2つのデータセットであるe-daic-wozとcmdcについて広範な実験を行い,既存の手法に比べて性能が大幅に向上したことを示す。
さらに,因子集合の過程を分析することで,各因子の寄与を直感的に示すことができる。
これは核融合機構を理解するのに役立ちます
関連論文リスト
- CANAMRF: An Attention-Based Model for Multimodal Depression Detection [7.266707571724883]
適応型マルチモーダルリカレントフュージョン(CANAMRF)を用いたマルチモーダル抑うつ検出のためのクロスモーダルアテンションネットワークを提案する。
CANAMRFは、マルチモーダル特徴抽出器、アダプティブマルチモーダルリカレントフュージョンモジュール、ハイブリッドアテンションモジュールによって構成されている。
論文 参考訳(メタデータ) (2024-01-04T12:08:16Z) - Joint Self-Supervised and Supervised Contrastive Learning for Multimodal
MRI Data: Towards Predicting Abnormal Neurodevelopment [5.771221868064265]
マルチモーダルMRIデータから頑健な潜在特徴表現を学習するための,新しい自己教師付きコントラスト学習法を提案する。
本手法は,マルチモーダルデータの活用により,臨床実習におけるコンピュータ支援診断を容易にする能力を有する。
論文 参考訳(メタデータ) (2023-12-22T21:05:51Z) - A Multi-view Impartial Decision Network for Frontotemporal Dementia
Diagnosis [28.60160915742077]
現在のFTD識別法には2つの制限がある。
FTDの分類には、fMRI(Multi-view functional magnetic resonance imaging)の可能性を利用していない。
fMRIにおけるFTD診断のためのMID-Net(Multi-view Impartial decision Network)を提案する。
論文 参考訳(メタデータ) (2023-07-11T02:39:46Z) - Deep Equilibrium Multimodal Fusion [88.04713412107947]
多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。
本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。
BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
論文 参考訳(メタデータ) (2023-06-29T03:02:20Z) - Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
動的マルチモーダル融合は、有望な学習パラダイムとして現れる。
広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。
本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。
QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-03T08:32:35Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳(メタデータ) (2023-05-23T01:24:15Z) - Reliable Multimodality Eye Disease Screening via Mixture of Student's t
Distributions [49.4545260500952]
眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインEyeMoStについて紹介する。
本モデルでは,一様性に対する局所的不確実性と融合モードに対する大域的不確実性の両方を推定し,信頼性の高い分類結果を生成する。
パブリックデータセットと社内データセットの両方に関する実験結果から、我々のモデルは現在の手法よりも信頼性が高いことが判明した。
論文 参考訳(メタデータ) (2023-03-17T06:18:16Z) - Multi-modal Depression Estimation based on Sub-attentional Fusion [29.74171323437029]
うつ病の診断に失敗すると、世界中で2億8000万人以上がこの精神疾患に苦しんでいる。
マルチモーダルデータからうつ病を自動的に識別するタスクに取り組む。
異種情報をリンクするためのサブアテンション機構を導入する。
論文 参考訳(メタデータ) (2022-07-13T13:19:32Z) - MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。
人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。
本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-01-24T17:48:04Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳(メタデータ) (2021-07-28T23:33:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。