論文の概要: Multimodal Data Fusion based on the Global Workspace Theory
- arxiv url: http://arxiv.org/abs/2001.09485v2
- Date: Sun, 20 Sep 2020 15:00:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 19:16:50.956039
- Title: Multimodal Data Fusion based on the Global Workspace Theory
- Title(参考訳): グローバルワークスペース理論に基づくマルチモーダルデータ融合
- Authors: Cong Bao, Zafeirios Fountas, Temitayo Olugbade, Nadia
Bianchi-Berthouze
- Abstract要約: 我々はGWN(Global Workspace Network)と呼ばれる新しいニューラルネットワークアーキテクチャを提案する。
我々のGWNは、モダリティにまたがる注意のモデルであり、認知科学の分野から確立されたグローバルワークスペース理論にインスピレーションを受けています。
- 参考スコア(独自算出の注目度): 3.9325957466009203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel neural network architecture, named the Global Workspace
Network (GWN), which addresses the challenge of dynamic and unspecified
uncertainties in multimodal data fusion. Our GWN is a model of attention across
modalities and evolving through time, and is inspired by the well-established
Global Workspace Theory from the field of cognitive science. The GWN achieved
average F1 score of 0.92 for discrimination between pain patients and healthy
participants and average F1 score = 0.75 for further classification of three
pain levels for a patient, both based on the multimodal EmoPain dataset
captured from people with chronic pain and healthy people performing different
types of exercise movements in unconstrained settings. In these tasks, the GWN
significantly outperforms the typical fusion approach of merging by
concatenation. We further provide extensive analysis of the behaviour of the
GWN and its ability to address uncertainties (hidden noise) in multimodal data.
- Abstract(参考訳): 本稿では,マルチモーダルデータ融合における動的かつ不特定な不確実性の課題に対処する,global workspace network (gwn) と呼ばれる新しいニューラルネットワークアーキテクチャを提案する。
我々のGWNは、モダリティにまたがる注意のモデルであり、認知科学の分野から確立されたグローバルワークスペース理論にインスピレーションを受けています。
GWNは、慢性的な痛みを持つ人や健康な人から採取されたマルチモーダル・エモパインデータセットに基づいて、痛み患者と健康な被験者を識別するための平均F1スコア0.92と、患者の3つの痛みレベルをさらに分類するための平均F1スコア0.75を達成した。
これらのタスクでは、GWNは結合による融合の典型的な融合アプローチを著しく上回る。
さらに、GWNの挙動と、マルチモーダルデータにおける不確実性(隠れノイズ)に対処する能力について広範な分析を行う。
関連論文リスト
- Predicting Infant Brain Connectivity with Federated Multi-Trajectory
GNNs using Scarce Data [54.55126643084341]
既存のディープラーニングソリューションには,3つの大きな制限がある。
我々はフェデレートグラフベースの多軌道進化ネットワークであるFedGmTE-Net++を紹介する。
フェデレーションの力を利用して、限られたデータセットを持つ多種多様な病院の地域学習を集約する。
論文 参考訳(メタデータ) (2024-01-01T10:20:01Z) - MaxCorrMGNN: A Multi-Graph Neural Network Framework for Generalized
Multimodal Fusion of Medical Data for Outcome Prediction [3.2889220522843625]
我々はMaxCorr MGNNと呼ばれる革新的な融合手法を開発し、患者内および患者間の非線形モダリティ相関をモデル化する。
次に,多層グラフにおけるタスクインフォームド推論のための汎用多層グラフニューラルネットワーク(MGNN)を初めて設計する。
我々は,本モデルを結核データセットにおける結果予測タスクとして評価し,最先端のニューラルネットワーク,グラフベース,従来の融合技術より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-07-13T23:52:41Z) - Multiple Instance Ensembling For Paranasal Anomaly Classification In The
Maxillary Sinus [46.1292414445895]
副鼻腔奇形は幅広い形態学的特徴を持つ。
副鼻腔異常分類への現在のアプローチは、一度に1つの異常を特定することに制約されている。
3次元畳み込みニューラルネットワーク(CNN)を用いて正常上顎骨(MS)とMSをポリープや嚢胞で分類する可能性を検討した。
論文 参考訳(メタデータ) (2023-03-31T09:23:27Z) - Multi-objective optimization determines when, which and how to fuse deep
networks: an application to predict COVID-19 outcomes [1.8351254916713304]
マルチモーダル・エンド・ツー・エンドモデルのセットアップを最適化する新しい手法を提案する。
我々はAIforCOVIDデータセット上でテストを行い、最先端の結果を得た。
論文 参考訳(メタデータ) (2022-04-07T23:07:33Z) - FedDG: Federated Domain Generalization on Medical Image Segmentation via
Episodic Learning in Continuous Frequency Space [63.43592895652803]
フェデレーションラーニングは、分散医療機関がプライバシ保護を備えた共有予測モデルを共同で学習することを可能にします。
臨床展開では、連合学習で訓練されたモデルは、連邦外の完全に見えない病院に適用された場合、パフォーマンス低下に苦しむ可能性がある。
そこで本研究では,この問題に対してELCFS(Episodic Learning in Continuous frequency Space)と呼ばれる新しいアプローチを提案する。
本手法の有効性は,2つの医用画像分割作業における最先端および深部アブレーション実験よりも優れていた。
論文 参考訳(メタデータ) (2021-03-10T13:05:23Z) - FLOP: Federated Learning on Medical Datasets using Partial Networks [84.54663831520853]
新型コロナウイルスの感染拡大で医療資源が不足している。
新型コロナウイルスの診断を緩和するために、さまざまなデータ駆動型ディープラーニングモデルが開発されている。
患者のプライバシー上の懸念から、データそのものはまだ乏しい。
我々は、textbfPartial Networks (FLOP) を用いた、シンプルで効果的な textbfFederated textbfL textbfon Medical データセットを提案する。
論文 参考訳(メタデータ) (2021-02-10T01:56:58Z) - Adversarial Sample Enhanced Domain Adaptation: A Case Study on
Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。
逆生成したサンプルはドメイン適応時に使用される。
その結果,本手法の有効性とタスクの一般性が確認された。
論文 参考訳(メタデータ) (2021-01-13T03:20:20Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳(メタデータ) (2020-06-11T17:29:53Z) - M2Net: Multi-modal Multi-channel Network for Overall Survival Time
Prediction of Brain Tumor Patients [151.4352001822956]
生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。
既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。
我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
論文 参考訳(メタデータ) (2020-06-01T05:21:37Z) - Ensemble Deep Learning on Large, Mixed-Site fMRI Datasets in Autism and
Other Tasks [0.1160208922584163]
我々は、これまでコンパイルされた最大のマルチソース機能的MRI(fMRI)コネクトロミックデータセットを備えた畳み込みニューラルネットワーク(CNN)を訓練する。
ASDとTDの制御を区別するディープラーニングモデルは、時間的および小脳の接続に大きく焦点を絞っている。
論文 参考訳(メタデータ) (2020-02-14T17:28:16Z) - Multi-site fMRI Analysis Using Privacy-preserving Federated Learning and
Domain Adaptation: ABIDE Results [13.615292855384729]
高品質なディープラーニングモデルを訓練するには,大量の患者情報を集める必要がある。
患者データのプライバシを保護する必要があるため、複数の機関から中央データベースを組み立てることは困難である。
フェデレート・ラーニング(Federated Learning)は、エンティティのデータを集中化せずに、人口レベルのモデルをトレーニングすることを可能にする。
論文 参考訳(メタデータ) (2020-01-16T04:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。