論文の概要: Revisiting Your Memory: Reconstruction of Affect-Contextualized Memory via EEG-guided Audiovisual Generation

• arxiv url: http://arxiv.org/abs/2412.05296v1
• Date: Sun, 24 Nov 2024 16:04:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:39:32.548503
• Title: Revisiting Your Memory: Reconstruction of Affect-Contextualized Memory via EEG-guided Audiovisual Generation
• Title（参考訳）: 記憶を再考する:脳波誘導型聴覚生成による環境記憶の再構築
• Authors: Joonwoo Kwon, Heehwan Wang, Jinwoo Lee, Sooyoung Kim, Shinjae Yoo, Yuewei Lin, Jiook Cha,
• Abstract要約: 本稿では,脳波(EEG)信号から抽出した影響によって誘導される音声・視覚生成によって,自伝的記憶を再構築する新しいタスクであるRecallAffectiveMemoryを紹介する。 本研究では,9人の参加者から記憶記憶記憶中に収集したテキスト記述,視覚,音楽,脳波記録を含む脳波・感情記憶データセットを提案する。
• 参考スコア（独自算出の注目度）: 7.67506894657724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce RecallAffectiveMemory, a novel task designed to reconstruct autobiographical memories through audio-visual generation guided by affect extracted from electroencephalogram (EEG) signals. To support this pioneering task, we present the EEG-AffectiveMemory dataset, which encompasses textual descriptions, visuals, music, and EEG recordings collected during memory recall from nine participants. Furthermore, we propose RYM (Recall Your Memory), a three-stage framework for generating synchronized audio-visual contents while maintaining dynamic personal memory affect trajectories. Experimental results indicate that our method can faithfully reconstruct affect-contextualized audio-visual memory across all subjects, both qualitatively and quantitatively, with participants reporting strong affective concordance between their recalled memories and the generated content. Our approaches advance affect decoding research and its practical applications in personalized media creation via neural-based affect comprehension.
• Abstract（参考訳）: 本稿では,脳波(EEG)信号から抽出した影響によって誘導される音声・視覚生成によって,自伝的記憶を再構築する新しいタスクであるRecallAffectiveMemoryを紹介する。 この先駆的なタスクを支援するために、9人の参加者から収集された記憶リコール中に収集されたテキスト記述、視覚、音楽、脳波記録を含むEEG-AffectiveMemoryデータセットを提示する。 さらに,動的な個人記憶を維持しつつ,同期した音声・視覚コンテンツを生成するための3段階フレームワークであるRYM(Recall Your Memory)を提案する。 実験結果から, 被験者は記憶と生成内容との間に強い情緒的一致を報告し, 全被験者に対して, 質的, 定量的に感情調和型音声視覚記憶を忠実に再構築できることが示唆された。 我々のアプローチは、デコード研究に影響を及ぼし、ニューラルベース感情理解によるパーソナライズされたメディア作成の実践的応用に影響を及ぼす。

関連論文リスト

• The AI Hippocampus: How Far are We From Human Memory? [77.04745635827278]
  インプリシットメモリは、事前訓練されたトランスフォーマーの内部パラメータに埋め込まれた知識を指す。 明示メモリは、動的でクエリ可能な知識表現でモデル出力を増大させるように設計された外部ストレージと検索コンポーネントを含んでいる。 エージェントメモリは、自律エージェント内に永続的、時間的に拡張されたメモリ構造を導入する。
  論文  参考訳（メタデータ） (2026-01-14T03:24:08Z)
• fMRI2GES: Co-speech Gesture Reconstruction from fMRI Signal with Dual Brain Decoding Alignment [47.45203641583922]
  本研究では,fMRI-to-gesture Restruction Network のトレーニングを可能にする新しいアプローチ textbffMRI2GES を提案する。 提案手法は,fMRI記録から直接表現的ジェスチャーを再構成できることを示す。
  論文  参考訳（メタデータ） (2025-12-01T02:09:44Z)
• A Penny for Your Thoughts: Decoding Speech from Inexpensive Brain Signals [1.621606615628714]
  脳波記録を音声表現にマッピングすることで、ニューラルネットワークが脳活動を音声にデコードできるかどうかを検討する。 被験者が自然音声を聴くように記録した脳波データを用いて、コントラストのあるCLIP損失を持つモデルを訓練し、脳波由来の埋め込みと、事前訓練されたトランスフォーマーベース音声モデルからの埋め込みとを一致させる。
  論文  参考訳（メタデータ） (2025-10-28T06:02:41Z)
• GENESIS: A Generative Model of Episodic-Semantic Interaction [0.40286876168661084]
  ジェネレーション・エピソード・セマンティック統合システム(GENESIS)について紹介する。 GENESISはメモリを2つの制限容量生成系間の相互作用として定式化する。 それは、アクティブで、構成的で、リソースに縛られたプロセスとして、メモリの原則的な説明を提供する。
  論文  参考訳（メタデータ） (2025-10-17T17:11:13Z)
• Latent Structured Hopfield Network for Semantic Association and Retrieval [52.634915010996835]
  エピソード記憶は、オブジェクト、場所、時間などの意味的要素をコヒーレントなイベント表現に関連付けることによって、過去の経験を思い出すことができる。 本稿では,連続ホップフィールドアトラクタダイナミクスを自動エンコーダアーキテクチャに統合するフレームワークであるLatent Structured Hopfield Network (LSHN)を提案する。 従来のホップフィールドネットワークとは異なり、我々のモデルは勾配勾配でエンドツーエンドに訓練され、スケーラブルで堅牢なメモリ検索を実現する。
  論文  参考訳（メタデータ） (2025-06-02T04:24:36Z)
• Learning Interpretable Representations Leads to Semantically Faithful EEG-to-Text Generation [52.51005875755718]
  我々は脳波からテキストへの復号に焦点をあて、後部崩壊のレンズを通して幻覚の問題に対処する。 脳波とテキスト間の情報容量のミスマッチを認め、デコードタスクをコア意味のセマンティックな要約として再設計する。 パブリックなZuCoデータセットの実験では、GLIMが一貫して、流動的なEEG基底文を生成することが示されている。
  論文  参考訳（メタデータ） (2025-05-21T05:29:55Z)
• On Memory Construction and Retrieval for Personalized Conversational Agents [69.46887405020186]
  本稿では,セグメンテーションモデルを導入し,セグメントレベルでメモリバンクを構築するセグメンテーション手法であるSeComを提案する。 実験結果から,SeComは長期会話ベンチマークLOCOMOとLong-MT-Bench+のベースラインよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2025-02-08T14:28:36Z)
• Decoding the Echoes of Vision from fMRI: Memory Disentangling for Past Semantic Information [26.837527605133]
  本研究では,連続的な視覚刺激下での過去の情報を維持するための作業記憶能力について検討した。 本稿では,fMRI信号から過去の情報を抽出・復号するタスクメモリディスタングルを提案する。
  論文  参考訳（メタデータ） (2024-09-30T15:51:06Z)
• Reverse the auditory processing pathway: Coarse-to-fine audio reconstruction from fMRI [20.432212333539628]
  本稿では,機能的磁気共鳴画像(fMRI)データに基づく,より粗い音響再構成手法を提案する。 我々は,3つの公開fMRIデータセットであるBrain2Sound,Brain2Music,Brain2Speechについて検証を行った。 復号化時に意味的プロンプトを用いることで,意味的特徴が最適でない場合に,再構成音声の品質を向上させる。
  論文  参考訳（メタデータ） (2024-05-29T03:16:14Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• In-Memory Learning: A Declarative Learning Framework for Large Language Models [56.62616975119192]
  本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。 このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。 フレームワークの有効性を実証し、この問題に対する洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-05T08:25:11Z)
• BrainVis: Exploring the Bridge between Brain and Visual Signals via Image Reconstruction [7.512223286737468]
  脳信号からの視覚刺激の分析と再構成は、人間の視覚系の理解を効果的に進める。 しかし、脳波信号は複雑であり、大きなノイズを含む。 これにより、脳波からの視覚刺激再建の既存の作品にかなりの制限が生じる。 我々はこれらの課題に対処するためにBrainVisと呼ばれる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:49:11Z)
• Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
  頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。 本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
  論文  参考訳（メタデータ） (2023-11-24T04:30:31Z)
• Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
  継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。 本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。 この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
  論文  参考訳（メタデータ） (2023-10-06T15:54:12Z)
• Memory in Plain Sight: Surveying the Uncanny Resemblances of Associative Memories and Diffusion Models [65.08133391009838]
  拡散モデル(DM)の生成プロセスは、最近、多くのAI生成ベンチマークに最先端を設定した。 エネルギーに基づく連想記憶(AM)の分野からのメモリ検索の数学的言語を用いたDM記述のための新しい視点を導入する。 我々は,AMから期待される経験的行動を示すDMを記録できることの証拠として,DMをエネルギーベースメモリの一種として理解することによって明らかにされる研究の機会について論じる。
  論文  参考訳（メタデータ） (2023-09-28T17:57:09Z)
• Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals [27.92796103924193]
  脳波信号から視覚刺激像を再構成するための包括的パイプラインNeuroImagenを提案する。 我々は、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込んだ。
  論文  参考訳（メタデータ） (2023-07-27T12:54:16Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
  我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。 単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。 脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
  論文  参考訳（メタデータ） (2022-09-30T06:32:46Z)
• Audio-visual multi-channel speech separation, dereverberation and recognition [70.34433820322323]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。 LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T04:16:03Z)
• EEGminer: Discovering Interpretable Features of Brain Activity with Learnable Filters [72.19032452642728]
  本稿では,学習可能なフィルタと事前決定された特徴抽出モジュールからなる新しい識別可能なEEGデコーディングパイプラインを提案する。 我々は,SEEDデータセットおよび前例のない大きさの新たな脳波データセット上で,脳波信号からの感情認識に向けたモデルの有用性を実証する。 発見された特徴は、以前の神経科学の研究と一致し、音楽聴取中の左右の時間領域間の機能的接続プロファイルの顕著な相違など、新たな洞察を提供する。
  論文  参考訳（メタデータ） (2021-10-19T14:22:04Z)
• Memory Controlled Sequential Self Attention for Sound Recognition [20.019643319467153]
  畳み込みリカレントニューラルネットワーク(CRNN)モデル上にメモリ制御された逐次自己注意機構を用いて,ポリフォニック音事象検出(SED)を提案する。 記憶制御型自己注意モデルでは,URBAN-SEDデータセットで33.92%のイベントベースFスコアが達成され,自己注意のないモデルで報告された20.10%のFスコアを上回った。
  論文  参考訳（メタデータ） (2020-05-13T22:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。