Fugu-MT 論文翻訳(概要): R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity

論文の概要: R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity

arxiv url: http://arxiv.org/abs/2406.15537v1
Date: Fri, 21 Jun 2024 17:11:45 GMT
ステータス: 処理完了
システム内更新日: 2024-06-25 23:34:50.828999
Title: R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity
Title（参考訳）: R&B -- リズムと脳:人間の脳活動から音楽のクロスオブジェクトデコード
Authors: Matteo Ferrante, Matteo Ciferri, Nicola Toschi,
Abstract要約: 音楽は、文化全体にわたる人間の経験に大きな影響を及ぼす普遍的な現象である。本研究では,音楽の知覚における機能的MRI(FMRI)を用いた人間の脳活動から,音楽の復号化が可能であるかを検討した。
参考スコア（独自算出の注目度）: 0.12289361708127873
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Music is a universal phenomenon that profoundly influences human experiences across cultures. This study investigates whether music can be decoded from human brain activity measured with functional MRI (fMRI) during its perception. Leveraging recent advancements in extensive datasets and pre-trained computational models, we construct mappings between neural data and latent representations of musical stimuli. Our approach integrates functional and anatomical alignment techniques to facilitate cross-subject decoding, addressing the challenges posed by the low temporal resolution and signal-to-noise ratio (SNR) in fMRI data. Starting from the GTZan fMRI dataset, where five participants listened to 540 musical stimuli from 10 different genres while their brain activity was recorded, we used the CLAP (Contrastive Language-Audio Pretraining) model to extract latent representations of the musical stimuli and developed voxel-wise encoding models to identify brain regions responsive to these stimuli. By applying a threshold to the association between predicted and actual brain activity, we identified specific regions of interest (ROIs) which can be interpreted as key players in music processing. Our decoding pipeline, primarily retrieval-based, employs a linear map to project brain activity to the corresponding CLAP features. This enables us to predict and retrieve the musical stimuli most similar to those that originated the fMRI data. Our results demonstrate state-of-the-art identification accuracy, with our methods significantly outperforming existing approaches. Our findings suggest that neural-based music retrieval systems could enable personalized recommendations and therapeutic applications. Future work could use higher temporal resolution neuroimaging and generative models to improve decoding accuracy and explore the neural underpinnings of music perception and emotion.
Abstract（参考訳）: 音楽は、文化全体にわたる人間の経験に大きな影響を及ぼす普遍的な現象である。本研究では,音楽の知覚における機能的MRI(FMRI)を用いた人間の脳活動から,音楽の復号化が可能であるかを検討した。広範囲なデータセットと事前学習された計算モデルの最近の進歩を活用し、ニューラルデータと音楽刺激の潜在表現のマッピングを構築する。本手法は,fMRIデータにおける低時間分解能と信号-雑音比(SNR)による課題に対処するため,機能的および解剖学的アライメント手法を統合した。 GTZan fMRIデータセットから,5人の参加者が10種類のジャンルから540種類の音楽刺激を聴きながら脳活動を記録し,CLAP(Contrastive Language-Audio Pretraining)モデルを用いて音楽刺激の潜在表現を抽出し,これらの刺激に応答する脳領域を同定するボクセルエンコーディングモデルを開発した。予測された脳活動と実際の脳活動の関係にしきい値を適用することで,音楽処理において重要な役割を担う特定の関心領域(ROI)を特定した。我々のデコードパイプラインは、主に検索ベースで、対応するCLAP機能に脳活動を投影する線形マップを用いています。これにより、fMRIデータに最もよく似た音楽刺激の予測と検索が可能となる。提案手法は,既存の手法を著しく上回り,最先端の識別精度を実証した。以上の結果から,ニューラルベース音楽検索システムにより,パーソナライズされたレコメンデーションと治療応用が可能であることが示唆された。将来の研究は、高時間分解能のニューロイメージングと生成モデルを使用して、復号精度を改善し、音楽知覚と感情の神経基盤を探究することができる。

関連論文リスト

Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文参考訳（メタデータ） (2024-10-25T13:15:17Z)
BrainMAE: A Region-aware Self-supervised Learning Framework for Brain Signals [11.030708270737964]
本稿では,fMRI時系列データから直接表現を学習するBrain Masked Auto-Encoder(BrainMAE)を提案する。 BrainMAEは、4つの異なる下流タスクにおいて、確立されたベースラインメソッドをかなりのマージンで一貫して上回っている。
論文参考訳（メタデータ） (2024-06-24T19:16:24Z)
Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文参考訳（メタデータ） (2024-04-22T09:40:07Z)
MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文参考訳（メタデータ） (2024-04-11T15:46:42Z)
NeuroCine: Decoding Vivid Video Sequences from Human Brain Activties [23.893490180665996]
本稿では,fMRIデータを復号化するための新たな二相フレームワークであるNeuroCineを紹介する。公開されているfMRIデータセットでテストした結果,有望な結果が得られた。このモデルが既存の脳構造や機能と一致し,その生物学的妥当性と解釈可能性を示すことが示唆された。
論文参考訳（メタデータ） (2024-02-02T17:34:25Z)
fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文参考訳（メタデータ） (2023-11-01T07:24:22Z)
Brain2Music: Reconstructing Music from Human Brain Activity [1.4777718769290527]
機能的磁気共鳴画像(fMRI)を用いた脳活動からの音楽再構成手法を提案する。本手法では,fMRIデータからの埋め込みを条件とした音楽検索やMusicLM音楽生成モデルを用いる。生成された音楽は、ジャンル、楽器、ムードといった意味的特性に関して、人間の被験者が経験した音楽刺激に類似している。
論文参考訳（メタデータ） (2023-07-20T17:55:17Z)
Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain Activities [31.448924808940284]
2相fMRI表現学習フレームワークを提案する。第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
論文参考訳（メタデータ） (2023-05-26T19:16:23Z)
Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文参考訳（メタデータ） (2023-03-26T14:14:58Z)
Enhancing Affective Representations of Music-Induced EEG through Multimodal Supervision and latent Domain Adaptation [34.726185927120355]
脳波の重み付けとして音楽信号を用い,その意味的対応を共通の表現空間に投影することを目的としている。我々は、LSTMに基づくアテンションモデルと、音楽タギングのための事前訓練されたモデルを組み合わせたバイモーダル・フレームワークと、その2つのモードの分布を整列するリバース・ドメイン・ディミネータを併用して、バイモーダル・フレームワークを利用する。脳波入力クエリに関連音楽サンプルを提供することにより、モダリティのいずれからも、間接的に、教師付き予測を行うことで、感情認識に利用することができる。
論文参考訳（メタデータ） (2022-02-20T07:32:12Z)
EEGminer: Discovering Interpretable Features of Brain Activity with Learnable Filters [72.19032452642728]
本稿では,学習可能なフィルタと事前決定された特徴抽出モジュールからなる新しい識別可能なEEGデコーディングパイプラインを提案する。我々は,SEEDデータセットおよび前例のない大きさの新たな脳波データセット上で,脳波信号からの感情認識に向けたモデルの有用性を実証する。発見された特徴は、以前の神経科学の研究と一致し、音楽聴取中の左右の時間領域間の機能的接続プロファイルの顕著な相違など、新たな洞察を提供する。
論文参考訳（メタデータ） (2021-10-19T14:22:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。