論文の概要: Brain2Music: Reconstructing Music from Human Brain Activity
- arxiv url: http://arxiv.org/abs/2307.11078v1
- Date: Thu, 20 Jul 2023 17:55:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 11:39:15.312327
- Title: Brain2Music: Reconstructing Music from Human Brain Activity
- Title(参考訳): Brain2Music:人間の脳活動から音楽を再構築する
- Authors: Timo I. Denk, Yu Takagi, Takuya Matsuyama, Andrea Agostinelli, Tomoya
Nakai, Christian Frank, Shinji Nishimoto
- Abstract要約: 機能的磁気共鳴画像(fMRI)を用いた脳活動からの音楽再構成手法を提案する。
本手法では,fMRIデータからの埋め込みを条件とした音楽検索やMusicLM音楽生成モデルを用いる。
生成された音楽は、ジャンル、楽器、ムードといった意味的特性に関して、人間の被験者が経験した音楽刺激に類似している。
- 参考スコア(独自算出の注目度): 1.4777718769290527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The process of reconstructing experiences from human brain activity offers a
unique lens into how the brain interprets and represents the world. In this
paper, we introduce a method for reconstructing music from brain activity,
captured using functional magnetic resonance imaging (fMRI). Our approach uses
either music retrieval or the MusicLM music generation model conditioned on
embeddings derived from fMRI data. The generated music resembles the musical
stimuli that human subjects experienced, with respect to semantic properties
like genre, instrumentation, and mood. We investigate the relationship between
different components of MusicLM and brain activity through a voxel-wise
encoding modeling analysis. Furthermore, we discuss which brain regions
represent information derived from purely textual descriptions of music
stimuli. We provide supplementary material including examples of the
reconstructed music at https://google-research.github.io/seanet/brain2music
- Abstract(参考訳): 人間の脳活動から経験を再構築するプロセスは、脳が世界をどのように解釈し、表現するかというユニークなレンズを提供する。
本稿では,機能的磁気共鳴画像(fMRI)を用いて,脳活動から音楽の再構成を行う手法を提案する。
本手法では,fMRIデータからの埋め込みを条件とした音楽検索やMusicLM音楽生成モデルを用いる。
生成された音楽は、ジャンル、楽器、ムードといった意味的特性に関して、人間の被験者が経験した音楽刺激に類似している。
ボクセル単位の符号化モデル解析により,MusicLMの異なる成分と脳活動の関係について検討した。
さらに,音楽刺激の純粋テキスト記述から得られる情報を表現する脳領域についても論じる。
我々は https://google-research.github.io/seanet/brain2music で再構成された音楽の例を含む補足資料を提供する。
関連論文リスト
- UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion
Model from Human Brain Activity [2.666777614876322]
人間の脳活動からの1つの拡散モデルにおける画像再構成とキャプションを統一するUniBrainを提案する。
我々はfMRIボクセルをテキストに変換し、低レベル情報に潜入して現実的なキャプションや画像を生成する。
UniBrainは、画像再構成の点で現在の手法を質的にも量的にも優れており、Natural Scenesデータセットで初めて画像キャプションの結果を報告している。
論文 参考訳(メタデータ) (2023-08-14T19:49:29Z) - Deep Neural Networks and Brain Alignment: Brain Encoding and Decoding
(Survey) [3.007588299126936]
脳はどのように異なる情報のモードを表現するのか?ユーザが何を考えているのかを自動的に理解するシステムを設計できるだろうか?
神経科学のコミュニティは、概念語、物語、写真、映画の受動的読み書き・視聴に関連する、いくつかの大きな認知神経科学データセットに貢献してきた。
これらのデータセットを使用した復号および符号化モデルも過去20年間に提案されている。
論文 参考訳(メタデータ) (2023-07-17T06:54:36Z) - DreamCatcher: Revealing the Language of the Brain with fMRI using GPT
Embedding [6.497816402045099]
本稿では、fMRIデータに基づいてキャプションを生成し、視覚知覚の洞察を得るfMRIキャプションを提案する。
DreamCatcherはRepresentation Space(RSE)とRevEmbedding Decoderで構成される。
fMRIベースのキャプションには、神経メカニズムの理解、ヒューマン・コンピュータインタラクション、学習とトレーニングプロセスの強化など、さまざまな応用がある。
論文 参考訳(メタデータ) (2023-06-16T07:55:20Z) - Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。
提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。
生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文 参考訳(メタデータ) (2023-05-19T09:57:19Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳(メタデータ) (2023-03-26T14:14:58Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳(メタデータ) (2023-02-25T03:28:54Z) - Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。
単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。
脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
論文 参考訳(メタデータ) (2022-09-30T06:32:46Z) - Contrastive Learning with Positive-Negative Frame Mask for Music
Representation [91.44187939465948]
本稿では,PEMRと略記したコントラッシブラーニングフレームワークに基づく,音楽表現のための正負負のフレームマスクを提案する。
我々は,同じ音楽からサンプリングした自己増強陽性/陰性の両方に対応するために,新しいコントラスト学習目標を考案した。
論文 参考訳(メタデータ) (2022-03-17T07:11:42Z) - Model-based analysis of brain activity reveals the hierarchy of language
in 305 subjects [82.81964713263483]
言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。
そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
論文 参考訳(メタデータ) (2021-10-12T15:30:21Z) - MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training [97.91071692716406]
シンボリック・ミュージックの理解(シンボリック・ミュージックの理解)とは、シンボリック・データから音楽を理解することを指す。
MusicBERTは、音楽理解のための大規模な事前訓練モデルである。
論文 参考訳(メタデータ) (2021-06-10T10:13:05Z) - Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with
Visual Computing for Improved Music Video Analysis [91.3755431537592]
この論文は、音声分析とコンピュータビジョンを組み合わせて、マルチモーダルの観点から音楽情報検索(MIR)タスクにアプローチする。
本研究の主な仮説は、ジャンルやテーマなど特定の表現的カテゴリーを視覚的内容のみに基づいて認識できるという観察に基づいている。
実験は、3つのMIRタスクに対して行われ、アーティスト識別、音楽ジェネア分類、クロスジェネア分類を行う。
論文 参考訳(メタデータ) (2020-02-01T17:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。