論文の概要: Brain2Music: Reconstructing Music from Human Brain Activity

• arxiv url: http://arxiv.org/abs/2307.11078v1
• Date: Thu, 20 Jul 2023 17:55:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 11:39:15.312327
• Title: Brain2Music: Reconstructing Music from Human Brain Activity
• Title（参考訳）: Brain2Music:人間の脳活動から音楽を再構築する
• Authors: Timo I. Denk, Yu Takagi, Takuya Matsuyama, Andrea Agostinelli, Tomoya Nakai, Christian Frank, Shinji Nishimoto
• Abstract要約: 機能的磁気共鳴画像(fMRI)を用いた脳活動からの音楽再構成手法を提案する。 本手法では,fMRIデータからの埋め込みを条件とした音楽検索やMusicLM音楽生成モデルを用いる。 生成された音楽は、ジャンル、楽器、ムードといった意味的特性に関して、人間の被験者が経験した音楽刺激に類似している。
• 参考スコア（独自算出の注目度）: 1.4777718769290527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The process of reconstructing experiences from human brain activity offers a unique lens into how the brain interprets and represents the world. In this paper, we introduce a method for reconstructing music from brain activity, captured using functional magnetic resonance imaging (fMRI). Our approach uses either music retrieval or the MusicLM music generation model conditioned on embeddings derived from fMRI data. The generated music resembles the musical stimuli that human subjects experienced, with respect to semantic properties like genre, instrumentation, and mood. We investigate the relationship between different components of MusicLM and brain activity through a voxel-wise encoding modeling analysis. Furthermore, we discuss which brain regions represent information derived from purely textual descriptions of music stimuli. We provide supplementary material including examples of the reconstructed music at https://google-research.github.io/seanet/brain2music
• Abstract（参考訳）: 人間の脳活動から経験を再構築するプロセスは、脳が世界をどのように解釈し、表現するかというユニークなレンズを提供する。 本稿では,機能的磁気共鳴画像(fMRI)を用いて,脳活動から音楽の再構成を行う手法を提案する。 本手法では,fMRIデータからの埋め込みを条件とした音楽検索やMusicLM音楽生成モデルを用いる。 生成された音楽は、ジャンル、楽器、ムードといった意味的特性に関して、人間の被験者が経験した音楽刺激に類似している。 ボクセル単位の符号化モデル解析により,MusicLMの異なる成分と脳活動の関係について検討した。 さらに,音楽刺激の純粋テキスト記述から得られる情報を表現する脳領域についても論じる。 我々は https://google-research.github.io/seanet/brain2music で再構成された音楽の例を含む補足資料を提供する。

関連論文リスト

• Mode-conditioned music learning and composition: a spiking neural network inspired by neuroscience and psychology [5.2419221159594676]
  そこで我々は,脳のメカニズムや心理的理論にインスパイアされたスパイクニューラルネットワークを提案し,音楽モードとキーを表現する。 我々の研究は、音楽を学び、生成するだけでなく、人間の認知と人工知能のギャップを埋めるシステムを作ることを目指している。
  論文  参考訳（メタデータ） (2024-11-22T07:29:26Z)
• A Survey of Foundation Models for Music Understanding [60.83532699497597]
  この研究は、AI技術と音楽理解の交差に関する初期のレビューの1つである。 音楽理解能力に関して,近年の大規模音楽基盤モデルについて検討,分析,検証を行った。
  論文  参考訳（メタデータ） (2024-09-15T03:34:14Z)
• R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity [0.12289361708127873]
  音楽は、文化全体にわたる人間の経験に大きな影響を及ぼす普遍的な現象である。 本研究では,音楽の知覚における機能的MRI(FMRI)を用いた人間の脳活動から,音楽の復号化が可能であるかを検討した。
  論文  参考訳（メタデータ） (2024-06-21T17:11:45Z)
• MeLFusion: Synthesizing Music from Image and Language Cues using Diffusion Models [57.47799823804519]
  私たちは、ミュージシャンが映画の脚本だけでなく、視覚化を通して音楽を作る方法にインスピレーションを受けています。 本稿では,テキスト記述と対応する画像からの手がかりを効果的に利用して音楽を合成するモデルであるMeLFusionを提案する。 音楽合成パイプラインに視覚情報を加えることで、生成した音楽の質が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:38:59Z)
• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
  人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。 異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
  論文  参考訳（メタデータ） (2024-03-29T07:16:34Z)
• Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI [12.203617776046169]
  本稿では,人間の知覚システムにおけるfMRIパターンを解析するためのBrainformerという新しいフレームワークを紹介する。 この研究は、人間の知覚からニューラルネットワークに知識を移すための先進的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-11-30T22:39:23Z)
• UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity [2.666777614876322]
  人間の脳活動からの1つの拡散モデルにおける画像再構成とキャプションを統一するUniBrainを提案する。 我々はfMRIボクセルをテキストに変換し、低レベル情報に潜入して現実的なキャプションや画像を生成する。 UniBrainは、画像再構成の点で現在の手法を質的にも量的にも優れており、Natural Scenesデータセットで初めて画像キャプションの結果を報告している。
  論文  参考訳（メタデータ） (2023-08-14T19:49:29Z)
• Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
  本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。 提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。 生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-19T09:57:19Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis [91.3755431537592]
  この論文は、音声分析とコンピュータビジョンを組み合わせて、マルチモーダルの観点から音楽情報検索(MIR)タスクにアプローチする。 本研究の主な仮説は、ジャンルやテーマなど特定の表現的カテゴリーを視覚的内容のみに基づいて認識できるという観察に基づいている。 実験は、3つのMIRタスクに対して行われ、アーティスト識別、音楽ジェネア分類、クロスジェネア分類を行う。
  論文  参考訳（メタデータ） (2020-02-01T17:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。