論文の概要: MAESTRO: a Multimodal Auditory-attention Egocentric Speech-TRacking Open corpus

• arxiv url: http://arxiv.org/abs/2609.31898v1
• Date: Fri, 25 Sep 2026 18:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:50:24.343853
• Title: MAESTRO: a Multimodal Auditory-attention Egocentric Speech-TRacking Open corpus
• Title（参考訳）: マルチモーダル・アテンション・アテンション・エゴセントリック・スピーチ・トラッキング・オープンコーパスMAESTRO
• Abstract要約: マルチモーダル・アテンション・エゴセントリック・スピーチ・トラッキング・コーパス(MAESTRO)について紹介する。 MAESTROは、脳波、視線、瞳孔計測、自我中心ビデオ、頭部慣性計測ユニット(IMU)データを同時に記録する最初のAADデータセットである。 行動信号と生理信号を組み合わせることで,脳波のみのアプローチよりもデコード性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 7.187175853663672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans rely on gaze, head movements, and visual cues to attend to speakers in noisy environments, yet auditory attention decoding (AAD) has been studied primarily using electroencephalography (EEG). We introduce the Multimodal Auditory-attention Egocentric Speech-TRacking Open (MAESTRO) corpus, the first AAD dataset to simultaneously record EEG, eye gaze, pupillometry, egocentric video, and head inertial measurement unit (IMU) data. MAESTRO includes four competing speakers and background noise across multiple signal-to-noise ratio (SNR) conditions, enabling attention decoding under realistic listening scenarios. Through a four-speaker attention decoding benchmark, we show that combining behavioral and physiological signals improves decoding performance over EEG-only approaches, enabling future advances in multimodal auditory attention decoding. These findings open the door to new applications, analyses, and methodological advances in multimodal AAD. The complete dataset is publicly available at https://huggingface.co/datasets/aspire-osu/maestro-eeg-dataset . The official code repository is available at https://github.com/ASPIRE-OSU/MAESTRO .
• Abstract（参考訳）: 人間はノイズの多い環境下での話者の視線、頭の動き、視覚的手がかりに頼っているが、聴覚注意復号(AAD)は主に脳波(EEG)を用いて研究されている。 我々は,脳波,視線,瞳孔計測,エゴセントリックビデオ,頭部慣性計測装置(IMU)データを同時に記録する最初のAADデータセットである,マルチモーダル聴取型Egocentric Speech-TRacking Open (MAESTRO)コーパスを紹介する。 MAESTROには、複数の信号対雑音比(SNR)条件をまたいだ4つの競合スピーカーとバックグラウンドノイズが含まれており、現実的なリスニングシナリオ下でのアテンションデコーディングを可能にする。 脳波のみのアプローチよりも,行動信号と生理信号の組み合わせにより復号性能が向上し,マルチモーダル・オーディエンス・アテンション・デコーディングの進歩が期待できることを示す。 これらの知見は、マルチモーダルAADの新しい応用、分析、方法論的進歩への扉を開く。 完全なデータセットはhttps://huggingface.co/datasets/aspire-osu/maestro-eeg-dataset で公開されている。 公式コードリポジトリはhttps://github.com/ASPIRE-OSU/MAESTROで公開されている。

関連論文リスト

• BrainOmni: A Brain Foundation Model for Unified EEG and MEG Signals [46.121056431476156]
  異種脳波とMEG記録を対象とする脳基礎モデルBrain Omniを提案する。 既存のアプローチは一般的に、パフォーマンスとクロスドメインのスケーラビリティを制限する、分離、モダリティ、データセット固有のモデルに依存します。 EEGの合計1,997時間、MEGデータの656時間は、事前トレーニングのために公開されているソースからキュレーションされ、標準化されている。
  論文  参考訳（メタデータ） (2025-05-18T14:07:14Z)
• AADNet: Exploring EEG Spatiotemporal Information for Fast and Accurate Orientation and Timbre Detection of Auditory Attention Based on A Cue-Masked Paradigm [4.479495549911642]
  脳波(EEG)からの聴覚的注意復号は、ユーザがノイズの多い環境でどのソースに出席しているかを推測することができる。 本研究は,実験前の情報漏洩を回避するために,キューメイドの聴覚注意パラダイムを提案する。 短時間の脳波信号から時間情報を活用するために,エンドツーエンドのディープラーニングモデルであるAADNetを提案した。
  論文  参考訳（メタデータ） (2025-01-07T06:51:17Z)
• CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
  脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。 具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。 このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:27:54Z)
• A contrastive-learning approach for auditory attention detection [11.28441753596964]
  本稿では,参加音声信号の潜在表現と対応する脳波信号との差を最小化するために,自己教師付き学習に基づく手法を提案する。 この結果と以前に公表した手法を比較し,検証セット上での最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-24T03:13:53Z)
• Single-word Auditory Attention Decoding Using Deep Learning Model [9.698931956476692]
  聴覚刺激とそれに対応する脳反応を比較して聴覚注意を識別することは、聴覚注意復号法(AAD)として知られている。 本稿では,この課題に対処するため,EEGNetに基づくディープラーニングアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-15T21:57:19Z)
• BASEN: Time-Domain Brain-Assisted Speech Enhancement Network with Convolutional Cross Attention in Multi-talker Conditions [36.15815562576836]
  時間領域単一チャネル音声強調(SE)は、マルチトーカー条件に関する事前情報なしでターゲット話者を抽出することが依然として困難である。 本稿では,脳波(EEG)を聴取者から記録した脳波を組み込んだ新しい時間領域脳波支援SEネットワーク(BASEN)を提案する。
  論文  参考訳（メタデータ） (2023-05-17T06:40:31Z)
• Jointly Learning Visual and Auditory Speech Representations from Raw Data [108.68531445641769]
  RAVEnは視覚と聴覚の表現を協調的に学習する自己教師型マルチモーダルアプローチである。 我々の設計は、ビデオとオーディオの固有の違いによって駆動される非対称なw.r.t.である。 RAVEnは視覚音声認識における全自己指導手法を超越している。
  論文  参考訳（メタデータ） (2022-12-12T21:04:06Z)
• Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain [103.3388198420822]
  複数の話者の位置を推定することは、自動音声認識や話者ダイアリゼーションなどのタスクに役立ちます。 本稿では,個別の動的ストリーム重みを特定領域に割り当てることにより,話者定位のための新しい音声視覚データ融合フレームワークを提案する。 オーディオ・ヴィジュアル・レコードを用いた性能評価は,全てのベースラインモデルより優れた融合手法により,有望な結果をもたらす。
  論文  参考訳（メタデータ） (2021-02-23T09:59:31Z)
• Extracting the Locus of Attention at a Cocktail Party from Single-Trial EEG using a Joint CNN-LSTM Model [0.1529342790344802]
  人間の脳は、複数の話者シナリオにおいて、特定の話者を干渉する話者から分離する際、非常によく機能する。 本稿では,聴覚の注意を喚起するために,結合畳み込みニューラルネットワーク(CNN)-長短期記憶(LSTM)モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-08T01:06:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。