Fugu-MT 論文翻訳(概要): Revisiting Your Memory: Reconstruction of Affect-Contextualized Memory via EEG-guided Audiovisual Generation

論文の概要: Revisiting Your Memory: Reconstruction of Affect-Contextualized Memory via EEG-guided Audiovisual Generation

arxiv url: http://arxiv.org/abs/2412.05296v2
Date: Wed, 13 Aug 2025 17:45:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-14 16:17:42.068174
Title: Revisiting Your Memory: Reconstruction of Affect-Contextualized Memory via EEG-guided Audiovisual Generation
Title（参考訳）: 記憶を再考する:脳波誘導型聴覚生成による環境記憶の再構築
Authors: Joonwoo Kwon, Heehwan Wang, Jinwoo Lee, Sooyoung Kim, Shinjae Yoo, Yuewei Lin, Jiook Cha,
Abstract要約: 本稿では,脳波(EEG)信号から抽出した影響によって誘導される音声・視覚生成によって,自伝的記憶を再構築する新しいタスクであるRevisitAffectiveMemoryを紹介する。本研究では,9人の参加者から記憶記憶記憶中に収集したテキスト記述,視覚,音楽,脳波記録を含む脳波・感情記憶データセットを提案する。
参考スコア（独自算出の注目度）: 7.67506894657724
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we introduce RevisitAffectiveMemory, a novel task designed to reconstruct autobiographical memories through audio-visual generation guided by affect extracted from electroencephalogram (EEG) signals. To support this pioneering task, we present the EEG-AffectiveMemory dataset, which encompasses textual descriptions, visuals, music, and EEG recordings collected during memory recall from nine participants. Furthermore, we propose RYM (Revisit Your Memory), a three-stage framework for generating synchronized audio-visual contents while maintaining dynamic personal memory affect trajectories. Experimental results demonstrate our method successfully decodes individual affect dynamics trajectories from neural signals during memory recall (F1=0.9). Also, our approach faithfully reconstructs affect-contextualized audio-visual memory across all subjects, both qualitatively and quantitatively, with participants reporting strong affective concordance between their recalled memories and the generated content. Especially, contents generated from subject-reported affect dynamics showed higher correlation with participants' reported affect dynamics trajectories (r=0.265, p<.05) and received stronger user preference (preference=56%) compared to those generated from randomly reordered affect dynamics. Our approaches advance affect decoding research and its practical applications in personalized media creation via neural-based affect comprehension. Codes and the dataset are available at https://github.com/ioahKwon/Revisiting-Your-Memory.
Abstract（参考訳）: 本稿では,脳波(EEG)信号から抽出した影響によって誘導される音声・視覚生成によって,自伝的記憶を再構築する新しいタスクであるRevisitAffectiveMemoryを紹介する。この先駆的なタスクを支援するために、9人の参加者から収集された記憶リコール中に収集されたテキスト記述、視覚、音楽、脳波記録を含むEEG-AffectiveMemoryデータセットを提示する。さらに,動的な個人記憶を維持しつつ,同期した音声・視覚コンテンツを生成するための3段階フレームワークであるRYMを提案する。実験により, メモリリコール中の神経信号から個々の影響ダイナミックストラジェクトリを復号することに成功した(F1=0.9。また, 被験者は, 記憶の記憶と生成内容との間に強い情緒的一致を報告し, 全被験者に対して, 質的に, 定量的に, 感情調和型音声-視覚記憶を忠実に再構築する。特に, 被験者の感情動態から生成された内容は, 被験者の感情軌跡 (r=0.265, p<.05) と相関が強く, ユーザの嗜好は, ランダムに並べ替えた感情力学に比べて強い(参照=56%)。我々のアプローチは、デコード研究に影響を及ぼし、ニューラルベース感情理解によるパーソナライズされたメディア作成の実践的応用に影響を及ぼす。コードとデータセットはhttps://github.com/ioahKwon/Revisiting-Your-Memoryで公開されている。

関連論文リスト

Latent Structured Hopfield Network for Semantic Association and Retrieval [52.634915010996835]
エピソード記憶は、オブジェクト、場所、時間などの意味的要素をコヒーレントなイベント表現に関連付けることによって、過去の経験を思い出すことができる。本稿では,連続ホップフィールドアトラクタダイナミクスを自動エンコーダアーキテクチャに統合するフレームワークであるLatent Structured Hopfield Network (LSHN)を提案する。従来のホップフィールドネットワークとは異なり、我々のモデルは勾配勾配でエンドツーエンドに訓練され、スケーラブルで堅牢なメモリ検索を実現する。
論文参考訳（メタデータ） (2025-06-02T04:24:36Z)
On Memory Construction and Retrieval for Personalized Conversational Agents [69.46887405020186]
本稿では,セグメンテーションモデルを導入し,セグメントレベルでメモリバンクを構築するセグメンテーション手法であるSeComを提案する。実験結果から,SeComは長期会話ベンチマークLOCOMOとLong-MT-Bench+のベースラインよりも優れた性能を示した。
論文参考訳（メタデータ） (2025-02-08T14:28:36Z)
Decoding the Echoes of Vision from fMRI: Memory Disentangling for Past Semantic Information [26.837527605133]
本研究では,連続的な視覚刺激下での過去の情報を維持するための作業記憶能力について検討した。本稿では,fMRI信号から過去の情報を抽出・復号するタスクメモリディスタングルを提案する。
論文参考訳（メタデータ） (2024-09-30T15:51:06Z)
In-Memory Learning: A Declarative Learning Framework for Large Language Models [56.62616975119192]
本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。フレームワークの有効性を実証し、この問題に対する洞察を提供する。
論文参考訳（メタデータ） (2024-03-05T08:25:11Z)
BrainVis: Exploring the Bridge between Brain and Visual Signals via Image Reconstruction [7.512223286737468]
脳信号からの視覚刺激の分析と再構成は、人間の視覚系の理解を効果的に進める。しかし、脳波信号は複雑であり、大きなノイズを含む。これにより、脳波からの視覚刺激再建の既存の作品にかなりの制限が生じる。我々はこれらの課題に対処するためにBrainVisと呼ばれる新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-12-22T17:49:11Z)
Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
論文参考訳（メタデータ） (2023-11-24T04:30:31Z)
Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
論文参考訳（メタデータ） (2023-10-06T15:54:12Z)
Memory in Plain Sight: Surveying the Uncanny Resemblances of Associative Memories and Diffusion Models [65.08133391009838]
拡散モデル(DM)の生成プロセスは、最近、多くのAI生成ベンチマークに最先端を設定した。エネルギーに基づく連想記憶(AM)の分野からのメモリ検索の数学的言語を用いたDM記述のための新しい視点を導入する。我々は,AMから期待される経験的行動を示すDMを記録できることの証拠として,DMをエネルギーベースメモリの一種として理解することによって明らかにされる研究の機会について論じる。
論文参考訳（メタデータ） (2023-09-28T17:57:09Z)
Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals [27.92796103924193]
脳波信号から視覚刺激像を再構成するための包括的パイプラインNeuroImagenを提案する。我々は、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込んだ。
論文参考訳（メタデータ） (2023-07-27T12:54:16Z)
Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
論文参考訳（メタデータ） (2023-04-11T12:12:05Z)
Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文参考訳（メタデータ） (2023-03-26T14:14:58Z)
Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
論文参考訳（メタデータ） (2022-09-30T06:32:46Z)
Audio-visual multi-channel speech separation, dereverberation and recognition [70.34433820322323]
本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。 LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
論文参考訳（メタデータ） (2022-04-05T04:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。