論文の概要: NeuralOOD: Improving Out-of-Distribution Generalization Performance with Brain-machine Fusion Learning Framework
- arxiv url: http://arxiv.org/abs/2408.14950v1
- Date: Tue, 27 Aug 2024 10:54:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 14:13:27.259425
- Title: NeuralOOD: Improving Out-of-Distribution Generalization Performance with Brain-machine Fusion Learning Framework
- Title（参考訳）: NeuralOOD:ブレイン・マシン・フュージョン・ラーニング・フレームワークによるアウト・オブ・ディストリビューションの一般化性能の向上
- Authors: Shuangchen Zhao, Changde Du, Hui Li, Huiguang He,
- Abstract要約: CVモデルからの視覚的知識と人間の脳からの認知的知識を融合させる新しい脳機械融合学習フレームワークを提案する。
我々は、視覚特徴から機能的磁気共鳴イメージング(fMRI)を予測するために、事前訓練された視覚ニューラルエンコーディングモデルを用いている。
我々のモデルは、ImageNet-1kバリデーションデータセットのDINOv2とベースラインモデル、および6つのキュレートされたOODデータセットよりも優れています。
- 参考スコア（独自算出の注目度）: 13.25912138698749
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) have demonstrated exceptional recognition capabilities in traditional computer vision (CV) tasks. However, existing CV models often suffer a significant decrease in accuracy when confronted with out-of-distribution (OOD) data. In contrast to these DNN models, human can maintain a consistently low error rate when facing OOD scenes, partly attributed to the rich prior cognitive knowledge stored in the human brain. Previous OOD generalization researches only focus on the single modal, overlooking the advantages of multimodal learning method. In this paper, we utilize the multimodal learning method to improve the OOD generalization and propose a novel Brain-machine Fusion Learning (BMFL) framework. We adopt the cross-attention mechanism to fuse the visual knowledge from CV model and prior cognitive knowledge from the human brain. Specially, we employ a pre-trained visual neural encoding model to predict the functional Magnetic Resonance Imaging (fMRI) from visual features which eliminates the need for the fMRI data collection and pre-processing, effectively reduces the workload associated with conventional BMFL methods. Furthermore, we construct a brain transformer to facilitate the extraction of knowledge inside the fMRI data. Moreover, we introduce the Pearson correlation coefficient maximization regularization method into the training process, which improves the fusion capability with better constrains. Our model outperforms the DINOv2 and baseline models on the ImageNet-1k validation dataset as well as six curated OOD datasets, showcasing its superior performance in diverse scenarios.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、従来のコンピュータビジョン(CV)タスクにおいて、例外的な認識能力を実証している。
しかし、既存のCVモデルは、アウト・オブ・ディストリビューション(OOD)データに直面すると、精度が著しく低下することが多い。
これらのDNNモデルとは対照的に、人間はOODシーンに直面する際のエラー率を一定に低く維持することができる。
従来のOOD一般化研究は、マルチモーダル学習法の利点を見越して、単一のモーダルのみに焦点を当てていた。
本稿では,OODの一般化を改善するためにマルチモーダル学習法を用い,新しい脳-機械融合学習(BMFL)フレームワークを提案する。
我々は、CVモデルからの視覚的知識と、人間の脳からの認知的知識を融合させるために、クロスアテンション機構を採用する。
具体的には,fMRIデータ収集と前処理の必要性を排除し,従来のBMFL法に係わる負荷を効果的に軽減する視覚特徴から,機能的磁気共鳴イメージング(fMRI)を予測するために,事前訓練された視覚ニューラルエンコーディングモデルを用いる。
さらに、fMRIデータ内の知識の抽出を容易にする脳トランスフォーマーを構築する。
さらに、Pearson相関係数最大化正規化法をトレーニングプロセスに導入し、より良い制約で融合能力を向上させる。
我々のモデルは、ImageNet-1kバリデーションデータセットのDINOv2とベースラインモデル、および6つのキュレートされたOODデータセットより優れており、多様なシナリオにおいてその優れたパフォーマンスを示している。
関連論文リスト
- Teaching CORnet Human fMRI Representations for Enhanced Model-Brain Alignment [2.035627332992055]
認知神経科学において広く用いられる技術として機能的磁気共鳴イメージング(fMRI)は、視覚知覚の過程における人間の視覚野の神経活動を記録することができる。
本研究では,SOTAビジョンモデルCORnetに基づくモデルであるReAlnet-fMRIを提案する。
fMRIを最適化したReAlnet-fMRIは、CORnetと制御モデルの両方においてヒトの脳との類似性が高く、また、内・内・対モダリティモデル脳(fMRI、EEG)も高い類似性を示した。
論文 参考訳（メタデータ） (2024-07-15T03:31:42Z) - BrainMAE: A Region-aware Self-supervised Learning Framework for Brain Signals [11.030708270737964]
本稿では,fMRI時系列データから直接表現を学習するBrain Masked Auto-Encoder(BrainMAE)を提案する。
BrainMAEは、4つの異なる下流タスクにおいて、確立されたベースラインメソッドをかなりのマージンで一貫して上回っている。
論文 参考訳（メタデータ） (2024-06-24T19:16:24Z) - See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI [32.40827290083577]
機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。
従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。
本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。
トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
論文 参考訳（メタデータ） (2024-03-11T01:18:49Z) - Predicting Infant Brain Connectivity with Federated Multi-Trajectory
GNNs using Scarce Data [54.55126643084341]
既存のディープラーニングソリューションには,3つの大きな制限がある。
我々はフェデレートグラフベースの多軌道進化ネットワークであるFedGmTE-Net++を紹介する。
フェデレーションの力を利用して、限られたデータセットを持つ多種多様な病院の地域学習を集約する。
論文 参考訳（メタデータ） (2024-01-01T10:20:01Z) - Sparse Multitask Learning for Efficient Neural Representation of Motor
Imagery and Execution [30.186917337606477]
運動画像(MI)と運動実行(ME)タスクのためのスパースマルチタスク学習フレームワークを提案する。
MI-ME分類のためのデュアルタスクCNNモデルが与えられた場合、過渡的な接続に対して、サリエンシに基づくスペーシフィケーションアプローチを適用する。
以上の結果から, この調整された疎水性は, 過度に適合する問題を緩和し, 少ないデータ量でテスト性能を向上させることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T09:06:16Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳（メタデータ） (2023-06-06T14:23:34Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳（メタデータ） (2023-05-25T16:29:16Z) - NCTV: Neural Clamping Toolkit and Visualization for Neural Network
Calibration [66.22668336495175]
ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。
我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
論文 参考訳（メタデータ） (2022-11-29T15:03:05Z) - Performance or Trust? Why Not Both. Deep AUC Maximization with
Self-Supervised Learning for COVID-19 Chest X-ray Classifications [72.52228843498193]
ディープラーニングモデルのトレーニングでは、パフォーマンスと信頼の間に妥協をしなければなりません。
本研究は、新型コロナウイルス患者のコンピュータ支援スクリーニングのための自己教師型学習と新しい代理損失を統合したものである。
論文 参考訳（メタデータ） (2021-12-14T21:16:52Z) - Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
論文 参考訳（メタデータ） (2021-11-01T15:44:49Z) - Modality Compensation Network: Cross-Modal Adaptation for Action
Recognition [77.24983234113957]
異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。
我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。
実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-01-31T04:51:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。