論文の概要: Revisiting Your Memory: Reconstruction of Affect-Contextualized Memory via EEG-guided Audiovisual Generation

• arxiv url: http://arxiv.org/abs/2412.05296v1
• Date: Sun, 24 Nov 2024 16:04:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-15 08:28:35.953627
• Title: Revisiting Your Memory: Reconstruction of Affect-Contextualized Memory via EEG-guided Audiovisual Generation
• Title（参考訳）: 記憶を再考する:脳波誘導型聴覚生成による環境記憶の再構築
• Authors: Joonwoo Kwon, Heehwan Wang, Jinwoo Lee, Sooyoung Kim, Shinjae Yoo, Yuewei Lin, Jiook Cha,
• Abstract要約: 本稿では,脳波(EEG)信号から抽出した影響によって誘導される音声・視覚生成によって,自伝的記憶を再構築する新しいタスクであるRecallAffectiveMemoryを紹介する。 本研究では,9人の参加者から記憶記憶記憶中に収集したテキスト記述,視覚,音楽,脳波記録を含む脳波・感情記憶データセットを提案する。
• 参考スコア（独自算出の注目度）: 7.67506894657724
• License:
• Abstract: In this paper, we introduce RecallAffectiveMemory, a novel task designed to reconstruct autobiographical memories through audio-visual generation guided by affect extracted from electroencephalogram (EEG) signals. To support this pioneering task, we present the EEG-AffectiveMemory dataset, which encompasses textual descriptions, visuals, music, and EEG recordings collected during memory recall from nine participants. Furthermore, we propose RYM (Recall Your Memory), a three-stage framework for generating synchronized audio-visual contents while maintaining dynamic personal memory affect trajectories. Experimental results indicate that our method can faithfully reconstruct affect-contextualized audio-visual memory across all subjects, both qualitatively and quantitatively, with participants reporting strong affective concordance between their recalled memories and the generated content. Our approaches advance affect decoding research and its practical applications in personalized media creation via neural-based affect comprehension.
• Abstract（参考訳）: 本稿では,脳波(EEG)信号から抽出した影響によって誘導される音声・視覚生成によって,自伝的記憶を再構築する新しいタスクであるRecallAffectiveMemoryを紹介する。 この先駆的なタスクを支援するために、9人の参加者から収集された記憶リコール中に収集されたテキスト記述、視覚、音楽、脳波記録を含むEEG-AffectiveMemoryデータセットを提示する。 さらに,動的な個人記憶を維持しつつ,同期した音声・視覚コンテンツを生成するための3段階フレームワークであるRYM(Recall Your Memory)を提案する。 実験結果から, 被験者は記憶と生成内容との間に強い情緒的一致を報告し, 全被験者に対して, 質的, 定量的に感情調和型音声視覚記憶を忠実に再構築できることが示唆された。 我々のアプローチは、デコード研究に影響を及ぼし、ニューラルベース感情理解によるパーソナライズされたメディア作成の実践的応用に影響を及ぼす。

関連論文リスト

• Decoding the Echoes of Vision from fMRI: Memory Disentangling for Past Semantic Information [26.837527605133]
  本研究では,連続的な視覚刺激下での過去の情報を維持するための作業記憶能力について検討した。 本稿では,fMRI信号から過去の情報を抽出・復号するタスクメモリディスタングルを提案する。
  論文  参考訳（メタデータ） (2024-09-30T15:51:06Z)
• In-Memory Learning: A Declarative Learning Framework for Large Language Models [56.62616975119192]
  本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。 このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。 フレームワークの有効性を実証し、この問題に対する洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-05T08:25:11Z)
• BrainVis: Exploring the Bridge between Brain and Visual Signals via Image Reconstruction [7.512223286737468]
  脳信号からの視覚刺激の分析と再構成は、人間の視覚系の理解を効果的に進める。 しかし、脳波信号は複雑であり、大きなノイズを含む。 これにより、脳波からの視覚刺激再建の既存の作品にかなりの制限が生じる。 我々はこれらの課題に対処するためにBrainVisと呼ばれる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:49:11Z)
• Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
  頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。 本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
  論文  参考訳（メタデータ） (2023-11-24T04:30:31Z)
• Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
  継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。 本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。 この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
  論文  参考訳（メタデータ） (2023-10-06T15:54:12Z)
• Memory in Plain Sight: Surveying the Uncanny Resemblances of Associative Memories and Diffusion Models [65.08133391009838]
  拡散モデル(DM)の生成プロセスは、最近、多くのAI生成ベンチマークに最先端を設定した。 エネルギーに基づく連想記憶(AM)の分野からのメモリ検索の数学的言語を用いたDM記述のための新しい視点を導入する。 我々は,AMから期待される経験的行動を示すDMを記録できることの証拠として,DMをエネルギーベースメモリの一種として理解することによって明らかにされる研究の機会について論じる。
  論文  参考訳（メタデータ） (2023-09-28T17:57:09Z)
• Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals [27.92796103924193]
  脳波信号から視覚刺激像を再構成するための包括的パイプラインNeuroImagenを提案する。 我々は、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込んだ。
  論文  参考訳（メタデータ） (2023-07-27T12:54:16Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
  我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。 単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。 脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
  論文  参考訳（メタデータ） (2022-09-30T06:32:46Z)
• Audio-visual multi-channel speech separation, dereverberation and recognition [70.34433820322323]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。 LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T04:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。