論文の概要: Merit: Making every modality earn its contribution in multimodal attention decoding

• arxiv url: http://arxiv.org/abs/2610.17507v1
• Date: Tue, 13 Oct 2026 00:10:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 18:34:40.244528
• Title: Merit: Making every modality earn its contribution in multimodal attention decoding
• Title（参考訳）: Merit: あらゆるモダリティがマルチモーダルアテンションデコーディングに貢献する
• Abstract要約: 本稿では,デコーダと評価手法であるMERITについて述べる。 MeRITはテスト例を越えて各入力ストリームをシャッフルし、精度低下を測定し、Shapley値を使用してストリーム間で結果を分割する。 EEG、視線追跡、ヘッドモーション、シーンビデオの公開データセットでは、MERITが公開ベンチマークを改善し、リスナー内で0.82の4方向精度、不明リスナーで0.74に達した(以下、0.25)。
• 参考スコア（独自算出の注目度）: 7.819841192602516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: More than 1.5 billion people have hearing loss. When several people talk at once, hearing aids amplify every voice alike. Auditory attention decoding (AAD) aims to solve this by reading a listener's brain signals to find the attended talker, letting the device amplify only them. A real device will not see the brain alone; smart glasses and earbuds also track eyes, head, and scene. These behavioral signals help, as people often look at who they listen to. However, they show where a listener looks, not whom they hear. A decoder relying heavily on them fails when a listener cannot move their head or listens without looking - exactly when a brain-based device is needed. A multimodal decoder must use these signals without letting them replace the electroencephalogram (EEG). Accuracy alone cannot show whether it does. We present MERIT, a decoder and evaluation method asking: how much accuracy does each input earn? MERIT shuffles each input stream across test examples, measures the accuracy drop, and splits the result across streams using Shapley values. It also blocks two shortcuts: candidate audio is checked before training so it cannot reveal the answer, and the scoring function cannot beat chance if it ignores the brain. On a public dataset with EEG, eye tracking, head motion, and scene video, MERIT improves on the published benchmark, reaching 0.82 four-way accuracy within listeners and 0.74 on unseen listeners (chance is 0.25). The measurement reveals what accuracy hides: adding behavioral streams raises overall accuracy but almost halves the brain's share of it. On two other datasets, the same tests find a label imbalance in a widely used benchmark and flag results that accuracy alone would report as brain decoding.
• Abstract（参考訳）: 15億人以上が聴覚障害を患っている。 数人が一度に話すと、補聴器はすべての声を増幅する。 AAD(Auditory attention decoding)は、聴取者の脳信号を読み取って話し手を見つけることで、デバイスがそれを増幅することを目的としている。 スマートグラスとイヤホンは、目、頭、シーンも追跡する。 これらの行動シグナルは、よく耳を傾ける人を見るのに役立ちます。 しかし、リスナーが誰を聴くかではなく、どこを聴くかを示す。 デコーダは、リスナーが頭を動かしたり、見ずに聴くことができなければ失敗する。 マルチモーダルデコーダは脳波(EEG)を置き換えることなくこれらの信号を使用する必要がある。 正確性だけではそれを示すことはできない。 本稿では,デコーダと評価手法であるMERITについて述べる。 MERITはテスト例を越えて各入力ストリームをシャッフルし、精度低下を測定し、Shapley値を使用してストリーム間で結果を分割する。 また、2つのショートカットをブロックする: 候補オーディオはトレーニング前にチェックされるので、答えを明かすことができない。 EEG、視線追跡、ヘッドモーション、シーンビデオの公開データセットでは、MERITが公開ベンチマークを改善し、リスナ内の4方向精度が0.82、不明リスナが0.74に達した。 行動ストリームを追加することで全体の精度が向上するが、脳のシェアはほぼ半分になる。 他の2つのデータセットでは、同じテストで広く使用されているベンチマークでラベルの不均衡が発見され、精度だけで脳の復号と報告される結果がフラグ付けされる。

関連論文リスト

• Audio-Zero: Label-Free Self-Evolution for Fine-Grained Audio Reasoning [44.01898427480094]
  大型オーディオ言語モデル(LALM)は、音響理解を急速に進歩させてきたが、それでも細粒度のオーディオ推論に苦慮している。 本稿では,LALMにおけるラベルフリーな自己進化フレームワークであるAudio-Zeroを紹介する。 広義の音声理解を保ちながら,音の微妙な推論を改善したAudio-Zeroについて述べる。
  論文  参考訳（メタデータ） (2026-07-22T14:03:25Z)
• MEGnifying Emotion: Sentiment Analysis from Annotated Brain Data [4.3161681729056935]
  我々は、非侵襲的な脳記録を注釈付けするために、事前訓練されたテキスト・トゥ・センティメント・モデルの使用について検討する。 我々は、感情ラベルと脳の記録を一致させるために、テキストと音声の強制アライメントを用いる。 実験の結果,脳と感覚のバランス精度はベースラインに比べて向上した。
  論文  参考訳（メタデータ） (2026-01-26T18:55:44Z)
• AAD-LLM: Neural Attention-Driven Auditory Scene Understanding [9.596626274863832]
  本稿では,聴取者の注意を喚起するために脳信号を統合するプロトタイプシステムAAD-LLMについて述べる。 AAD-LLMは、参加話者を神経活動から予測し、この推定された注意状態に対して応答生成を条件付ける。 話者記述, 音声の書き起こし, 抽出, 質問応答について, マルチストーカーのシナリオでAAD-LLMを評価する。
  論文  参考訳（メタデータ） (2025-02-24T03:06:45Z)
• Jointly Learning Visual and Auditory Speech Representations from Raw Data [108.68531445641769]
  RAVEnは視覚と聴覚の表現を協調的に学習する自己教師型マルチモーダルアプローチである。 我々の設計は、ビデオとオーディオの固有の違いによって駆動される非対称なw.r.t.である。 RAVEnは視覚音声認識における全自己指導手法を超越している。
  論文  参考訳（メタデータ） (2022-12-12T21:04:06Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• MERLOT Reserve: Neural Script Knowledge through Vision and Language and Sound [90.1857707251566]
  MERLOT Reserveは、時間とともに動画を共同で表現するモデルである。 我々は、テキストとオーディオのスニペットをMASKトークンに置き換え、正しいマスクアウトスニペットを選択して学習する。 私たちの目標は代替手段よりも早く学習し、大規模に機能します。
  論文  参考訳（メタデータ） (2022-01-07T19:00:21Z)
• Deep Neural Networks on EEG Signals to Predict Auditory Attention Score Using Gramian Angular Difference Field [1.9899603776429056]
  ある意味では、個人の聴覚的注意スコアは、聴覚的タスクにおいて、その人が持つことができる焦点を示す。 深層学習の最近の進歩と、神経活動を記録する非侵襲的技術は、脳波(EEG)などの技術とともに、個人の聴覚的注意スコアを予測することができるのか? 本稿では,14チャンネルの脳波信号を用いて脳の電気的活動に基づいて聴覚的注意度を推定する問題に焦点をあてる。
  論文  参考訳（メタデータ） (2021-10-24T17:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。