論文の概要: Generalizability analysis of deep learning predictions of human brain responses to augmented and semantically novel visual stimuli
- arxiv url: http://arxiv.org/abs/2410.04497v1
- Date: Sun, 6 Oct 2024 14:29:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 07:06:24.879206
- Title: Generalizability analysis of deep learning predictions of human brain responses to augmented and semantically novel visual stimuli
- Title（参考訳）: 拡張的・意味的新しい視覚刺激に対するヒト脳反応の深層学習予測の一般化可能性解析
- Authors: Valentyn Piskovskyi, Riccardo Chimisso, Sabrina Patania, Tom Foulsham, Giuseppe Vizzari, Dimitri Ognibene,
- Abstract要約: 本研究の目的は,視覚野活性化に対する画像強調技術の影響を探索するための枠組みとして,ニューラルネットワークを用いたアプローチの音質と有用性を検討することである。
The Algonauts Project 2023 Challengeに参加したトップ10の方法の中から選ばれた、最先端の脳エンコーディングモデルを用意します。
我々は、様々な画像強調技術が神経反応に与える影響について、有効な予測を行う能力について分析する。
- 参考スコア（独自算出の注目度）: 0.6259089590341245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The purpose of this work is to investigate the soundness and utility of a neural network-based approach as a framework for exploring the impact of image enhancement techniques on visual cortex activation. In a preliminary study, we prepare a set of state-of-the-art brain encoding models, selected among the top 10 methods that participated in The Algonauts Project 2023 Challenge [16]. We analyze their ability to make valid predictions about the effects of various image enhancement techniques on neural responses. Given the impossibility of acquiring the actual data due to the high costs associated with brain imaging procedures, our investigation builds up on a series of experiments. Specifically, we analyze the ability of brain encoders to estimate the cerebral reaction to various augmentations by evaluating the response to augmentations targeting objects (i.e., faces and words) with known impact on specific areas. Moreover, we study the predicted activation in response to objects unseen during training, exploring the impact of semantically out-of-distribution stimuli. We provide relevant evidence for the generalization ability of the models forming the proposed framework, which appears to be promising for the identification of the optimal visual augmentation filter for a given task, model-driven design strategies as well as for AR and VR applications.
- Abstract（参考訳）: 本研究の目的は,視覚野活性化に対する画像強調技術の影響を探索するための枠組みとして,ニューラルネットワークを用いたアプローチの音質と有用性を検討することである。
予備研究として、The Algonauts Project 2023 Challenge [16]に参加したトップ10の手法の中から選ばれた最先端の脳エンコーディングモデルを用意した。
我々は、様々な画像強調技術が神経反応に与える影響について、有効な予測を行う能力について分析する。
脳画像撮影にかかわる高コストによる実際のデータ取得が不可能であることを踏まえて,本研究は一連の実験を基礎にしている。
具体的には,脳のエンコーダが,対象物(顔と言葉)に対する反応を,特定の領域に対する既知の影響で評価することにより,様々な拡張に対する脳反応を推定する能力について分析する。
さらに,トレーニング中に見えない物体に対する反応の予測活性化について検討し,意味的アウト・オブ・ディストリビューション刺激の影響について検討した。
提案するフレームワークを構成するモデルの一般化能力について,与えられたタスク,モデル駆動設計戦略,ARおよびVRアプリケーションに対して最適な視覚拡張フィルタの同定を期待できると思われる,関連性のある証拠を提供する。
関連論文リスト
- MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳（メタデータ） (2023-11-01T07:24:22Z) - Unidirectional brain-computer interface: Artificial neural network
encoding natural images to fMRI response in the visual cortex [12.1427193917406]
本稿では,人間の脳を模倣する人工ニューラルネットワークVISIONを提案する。
VISIONは、人間の血行動態の反応をfMRIボクセル値として、最先端の性能を超える精度で45%の精度で予測することに成功した。
論文 参考訳（メタデータ） (2023-09-26T15:38:26Z) - Improving visual image reconstruction from human brain activity using
latent diffusion models via multiple decoded inputs [2.4366811507669124]
深層学習と神経科学の統合は、脳活動の分析の改善につながった。
人間の脳活動による視覚体験の再構築は、特に恩恵を受けている分野である。
様々な復号化技術が視覚体験再構成の性能に与える影響について検討する。
論文 参考訳（メタデータ） (2023-06-20T13:48:02Z) - Neural Networks from Biological to Artificial and Vice Versa [6.85316573653194]
この論文の主な貢献は、死んだニューロンが人工ニューラルネットワーク(ANN)の性能に与える影響についての研究である。
本研究の目的は, 生物学的領域における発見の潜在的適用性を評価することであり, 期待される結果は, 神経疾患に対する効果的な治療戦略の開発に重要な影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-06-05T17:30:07Z) - Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。
提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。
生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文 参考訳（メタデータ） (2023-05-19T09:57:19Z) - BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。
本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
論文 参考訳（メタデータ） (2022-10-27T22:20:36Z) - Backprop-Free Reinforcement Learning with Active Neural Generative
Coding [84.11376568625353]
動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。
我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。
我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
論文 参考訳（メタデータ） (2021-07-10T19:02:27Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳（メタデータ） (2021-02-15T18:46:44Z) - Deep Cross-Subject Mapping of Neural Activity [33.25686697879346]
本研究では、ある被験者の神経活動信号に基づいて訓練されたニューラルデコーダを用いて、異なる被験者の運動意図を強固に復号できることを示す。
本稿では,クロスオブジェクト脳-コンピュータ開発に向けた重要なステップとして,本研究で報告した知見について述べる。
論文 参考訳（メタデータ） (2020-07-13T14:35:02Z) - Continuous Emotion Recognition via Deep Convolutional Autoencoder and
Support Vector Regressor [70.2226417364135]
マシンはユーザの感情状態を高い精度で認識できることが不可欠である。
ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。
表情認識に基づく連続的感情認識のための新しいモデルを提案する。
論文 参考訳（メタデータ） (2020-01-31T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。