論文の概要: A Multimodal Intermediate Fusion Network with Manifold Learning for Stress Detection

• arxiv url: http://arxiv.org/abs/2403.08077v1
• Date: Tue, 12 Mar 2024 21:06:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 16:22:32.434006
• Title: A Multimodal Intermediate Fusion Network with Manifold Learning for Stress Detection
• Title（参考訳）: マニフォールド学習のためのマルチモーダル中間核融合ネットワーク 応力検出
• Authors: Morteza Bodaghi, Majid Hosseini, Raju Gottumukkala
• Abstract要約: 本稿では,多様体学習に基づく次元減少を伴う中間的マルチモーダル融合ネットワークを提案する。 マルチモーダルネットワークと単調ネットワークの異なるバリエーションについて,様々な次元削減手法を比較した。 多次元スケーリング(MDS)法による中間レベル融合は96.00%の精度で有望な結果を示した。
• 参考スコア（独自算出の注目度）: 1.2430809884830318
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal deep learning methods capture synergistic features from multiple modalities and have the potential to improve accuracy for stress detection compared to unimodal methods. However, this accuracy gain typically comes from high computational cost due to the high-dimensional feature spaces, especially for intermediate fusion. Dimensionality reduction is one way to optimize multimodal learning by simplifying data and making the features more amenable to processing and analysis, thereby reducing computational complexity. This paper introduces an intermediate multimodal fusion network with manifold learning-based dimensionality reduction. The multimodal network generates independent representations from biometric signals and facial landmarks through 1D-CNN and 2D-CNN. Finally, these features are fused and fed to another 1D-CNN layer, followed by a fully connected dense layer. We compared various dimensionality reduction techniques for different variations of unimodal and multimodal networks. We observe that the intermediate-level fusion with the Multi-Dimensional Scaling (MDS) manifold method showed promising results with an accuracy of 96.00\% in a Leave-One-Subject-Out Cross-Validation (LOSO-CV) paradigm over other dimensional reduction methods. MDS had the highest computational cost among manifold learning methods. However, while outperforming other networks, it managed to reduce the computational cost of the proposed networks by 25\% when compared to six well-known conventional feature selection methods used in the preprocessing step.
• Abstract（参考訳）: マルチモーダルディープラーニング法は,複数のモーダルから相乗的特徴を抽出し,非モーダル法と比較して,ストレス検出の精度を向上させる可能性がある。 しかし、この精度の向上は一般に高次元の特徴空間、特に中間核融合のために高い計算コストから生じる。 次元性の低減は、データを簡単にし、処理や解析に適する機能をより高め、計算複雑性を減らすことで、マルチモーダル学習を最適化する1つの方法である。 本稿では,多様体学習に基づく次元減少を伴う中間的マルチモーダル融合ネットワークを提案する。 このマルチモーダルネットワークは、1D-CNNおよび2D-CNNを介して生体信号と顔のランドマークから独立表現を生成する。 最後に、これらの機能は融合され、別の1D-CNN層に供給され、続いて完全に接続された高密度層が続く。 我々は,一次元ネットワークと多モードネットワークの異なるバリエーションについて,様々な次元削減手法を比較した。 また,多次元スケーリング法 (MDS) による中間レベル融合は, 他の次元縮小法よりも96.00\%の精度で, LOSO-CV(Leave-One-Subject-Out Cross-Validation)パラダイムで有望な結果を示した。 MDSは多様体学習法の中で最も計算コストが高かった。 しかし、他のネットワークよりも優れている一方で、前処理ステップでよく知られた6つの特徴選択手法と比較して、提案したネットワークの計算コストを25%削減することができた。

関連論文リスト

• Application of Multimodal Fusion Deep Learning Model in Disease Recognition [14.655086303102575]
  本稿では,従来の単一モーダル認識手法の欠点を克服する,革新的なマルチモーダル融合深層学習手法を提案する。 特徴抽出段階では、画像ベース、時間的、構造化されたデータソースから高度な特徴を抽出するために最先端のディープラーニングモデルを適用する。 その結果, マルチモーダル融合モデルにおいて, 複数の評価指標にまたがる大きな利点が示された。
  論文  参考訳（メタデータ） (2024-05-22T23:09:49Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• MLCTR: A Fast Scalable Coupled Tensor Completion Based on Multi-Layer Non-Linear Matrix Factorization [3.6978630614152013]
  本稿では, テンソル完備問題の組込み学習に焦点をあて, 因子化・完備化のための新しい多層ニューラルネットワークアーキテクチャを提案する。 ネットワークアーキテクチャには、オーバーフィッティングを最小限に抑えるためにブロックを構築する一連の低ランク行列因数分解、非直線性のために各層でインターリーブされた転送関数、ネットワークの深さを減少させるバイパス接続など、多くの利点がある。 提案アルゴリズムはEPSデータに欠落した値を出力するのに非常に効率的である。
  論文  参考訳（メタデータ） (2021-09-04T03:08:34Z)
• Partitioning sparse deep neural networks for scalable training and inference [8.282177703075453]
  最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。 スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。 その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
  論文  参考訳（メタデータ） (2021-04-23T20:05:52Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
  本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。 このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
  論文  参考訳（メタデータ） (2020-11-10T09:53:20Z)
• A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
  本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。 提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
  論文  参考訳（メタデータ） (2020-06-08T02:39:59Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。