論文の概要: DEEPER: Dense Electroencephalography Passage Retrieval

• arxiv url: http://arxiv.org/abs/2412.06695v1
• Date: Mon, 09 Dec 2024 17:41:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:52:19.796600
• Title: DEEPER: Dense Electroencephalography Passage Retrieval
• Title（参考訳）: DEEPER:Dense Electroencephalography Passage Retrieval
• Authors: Niall McGuire, Yashar Moshfeghi,
• Abstract要約: 本稿では,中間テキスト翻訳を使わずに,自然言語読影中にユーザの神経信号から関連する経路を直接検索する新しいフレームワークDEEPERを提案する。 密度の高い検索アーキテクチャ上に構築されているDEEPERでは、ニューラルデータ処理、EEG信号とテキストパスを共有セマンティック空間にマッピングするための特殊なコンポーネントを備えたデュアルエンコーダアプローチを採用している。
• 参考スコア（独自算出の注目度）: 6.084958172018792
• License:
• Abstract: Information retrieval systems have historically relied on explicit query formulation, requiring users to translate their information needs into text. This process is particularly disruptive during reading tasks, where users must interrupt their natural flow to formulate queries. We present DEEPER (Dense Electroencephalography Passage Retrieval), a novel framework that enables direct retrieval of relevant passages from users' neural signals during naturalistic reading without intermediate text translation. Building on dense retrieval architectures, DEEPER employs a dual-encoder approach with specialised components for processing neural data, mapping EEG signals and text passages into a shared semantic space. Through careful architecture design and cross-modal negative sampling strategies, our model learns to align neural patterns with their corresponding textual content. Experimental results on the ZuCo dataset demonstrate that direct brain-to-passage retrieval significantly outperforms current EEG-to-text baselines, achieving a 571% improvement in Precision@1. Our ablation studies reveal that the model successfully learns aligned representations between EEG and text modalities (0.29 cosine similarity), while our hard negative sampling strategy contributes to overall performance increases.
• Abstract（参考訳）: 情報検索システムはこれまで、明示的なクエリの定式化に頼ってきた。 このプロセスは、ユーザがクエリを定式化するために自然の流れを中断しなければならないタスクを読むときに特に破壊的です。 本稿では, 中間テキスト翻訳を使わずに, 自然言語読解中に, ユーザの神経信号から関連する経路を直接検索できる新しいフレームワークであるDEEPERを提案する。 密度の高い検索アーキテクチャ上に構築されているDEEPERでは、ニューラルデータ処理、EEG信号とテキストパスを共有セマンティック空間にマッピングするための特殊なコンポーネントを備えたデュアルエンコーダアプローチを採用している。 注意深いアーキテクチャ設計とクロスモーダルなネガティブサンプリング戦略を通じて、我々のモデルは、ニューラルネットワークパターンと対応するテキストコンテンツとの整合性を学ぶ。 ZuCoデータセットの実験結果によると、直接の脳と通過の検索は、現在の脳とテキストのベースラインを大幅に上回っており、Precision@1.571%の改善が達成されている。 脳波とテキストモダリティの整合性 (0.29コサイン類似性) を学習し, 高い負のサンプリング戦略は全体の性能向上に寄与することを示した。

関連論文リスト

• CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
  脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。 具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。 このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:27:54Z)
• SEE: Semantically Aligned EEG-to-Text Translation [5.460650382586978]
  神経生理学的信号を言語に復号することは、脳-コンピュータインターフェース(BCI)の応用において非常に興味深い研究である。 現在のEEG-to-Textデコーディングアプローチは、EEGレコードと生テキストの間に大きなドメインギャップがあるため、課題に直面している。 本稿では,脳波からテキストへのデコードを改善するための新しい手法であるセマンティック・アラインドEEG-to-Text Translationを提案する。
  論文  参考訳（メタデータ） (2024-09-14T05:37:15Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• Towards Linguistic Neural Representation Learning and Sentence Retrieval from Electroencephalogram Recordings [27.418738450536047]
  脳波信号を文に変換するための2ステップパイプラインを提案する。 まず,自然読解中に記録された脳波データから単語レベルの意味情報を学習できることを確認する。 脳波エンコーダからの予測に基づいて文章を検索するために,学習不要な検索手法を用いる。
  論文  参考訳（メタデータ） (2024-08-08T03:40:25Z)
• EEG decoding with conditional identification information [7.873458431535408]
  脳波信号を復号することは、人間の脳を解き放ち、脳とコンピュータのインターフェースを進化させるのに不可欠である。 従来の機械学習アルゴリズムは、高ノイズレベルと脳波信号の個人間変動によって妨げられている。 ディープニューラルネットワーク(DNN)の最近の進歩は、その高度な非線形モデリング能力のために、将来性を示している。
  論文  参考訳（メタデータ） (2024-03-21T13:38:59Z)
• Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection [57.13665112065285]
  ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。 本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:52Z)
• fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships [68.8204255655161]
  多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。 我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
  論文  参考訳（メタデータ） (2022-10-23T15:11:37Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Subject Independent Emotion Recognition using EEG Signals Employing Attention Driven Neural Networks [2.76240219662896]
  主観非依存の感情認識が可能な新しいディープラーニングフレームワークを提案する。 タスクを実行するために、アテンションフレームワークを備えた畳み込みニューラルネットワーク(CNN)を提示する。 提案手法は、公開データセットを使用して検証されている。
  論文  参考訳（メタデータ） (2021-06-07T09:41:15Z)
• Leveraging Semantic Scene Characteristics and Multi-Stream Convolutional Architectures in a Contextual Approach for Video-Based Visual Emotion Recognition in the Wild [31.40575057347465]
  私たちは、野生のビデオベースの視覚感情認識のタスクに取り組みます。 身体および顔の特徴の抽出のみに依存する標準的な方法論は、しばしば正確な感情予測に欠ける。 我々は、シーンの特徴や属性の形で視覚的コンテキストを活用することで、この問題を軽減することを目指している。
  論文  参考訳（メタデータ） (2021-05-16T17:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。