論文の概要: RAMamba-Net: A Reliability-Aware and Mamba-Based Multimodal Fusion Network for Auditory Attention Detection

• arxiv url: http://arxiv.org/abs/2609.11372v1
• Date: Thu, 10 Sep 2026 11:08:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.308574
• Title: RAMamba-Net: A Reliability-Aware and Mamba-Based Multimodal Fusion Network for Auditory Attention Detection
• Title（参考訳）: RAMamba-Net: 聴覚注意検出のための信頼性とマンバに基づくマルチモーダルフュージョンネットワーク
• Abstract要約: AAD (Auditory attention decoding) は、参加話者を生理的信号から識別する。 EEGはAADの主要なモダリティであるが、自然主義的なオーディオ視覚シーンでは不完全な証拠を提供する。 AADのためのマルチモーダル・フュージョン・ネットワークであるRAMamba-Netを提案する。
• 参考スコア（独自算出の注目度）: 17.489739821644598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Auditory attention decoding (AAD) identifies the attended speaker from physiological signals, supporting neuro-steered hearing devices and natural human-machine interaction. Electroencephalography (EEG) is the dominant modality for AAD but provides incomplete evidence in naturalistic audio-visual scenes, motivating EEG and electrooculography (EOG) fusion. Existing approaches remain limited by weak cross-modal interaction, inefficient temporal modeling, and low robustness to sample variations. To address the limitations, we propose RAMamba-Net, a reliability-aware Mamba-based multimodal fusion network for AAD. RAMamba-Net employs a Mamba-enhanced band-aware convolutional Transformer to capture band-specific EEG patterns and long-range temporal dynamics. A dual-branch temporal-spatial encoder models EOG temporal and inter-channel dependencies. Cross-modal attention enables explicit modality interaction. Then, a reliability-aware module is introduced to estimate sample-wise modality weights for feature and prediction consistency, thereby enhancing multimodal fusion. Experiments on two AAD benchmarks demonstrate that RAMamba-Net effectively exploits complementary EEG-EOG information, yielding accuracy gains of 5.76% over unimodal baselines, together with more robust decoding and discriminative representations. Further analyses show that explicit cross-modal interaction improves multimodal alignment, while the reliability-aware module suppresses unreliable modality evidence and is robust to signal perturbation and parameter variation.
• Abstract（参考訳）: AAD(Auditory attention decoding)は、参加する話者を生理的信号から識別し、ニューロステアリング補聴器と自然な人間と機械の相互作用をサポートする。 脳波(Electroencephalography,EEG)は、脳波と電気電図の融合(EOG)を動機とする自然主義的視覚シーンにおける不完全な証拠である。 既存のアプローチは、弱い相互モーダル相互作用、非効率な時間的モデリング、サンプルのバリエーションに対するロバスト性によって制限されている。 この制限に対処するため,AADのための信頼性を意識したマルチモーダル核融合ネットワークRAMamba-Netを提案する。 RAMamba-Netは、バンド固有のEEGパターンと長距離時間ダイナミクスをキャプチャするために、Mamba対応のバンド対応畳み込み変換器を使用している。 デュアルブランチ時空間エンコーダは、EOG時間およびチャネル間依存関係をモデル化する。 クロスモーダルアテンションは明示的なモダリティ相互作用を可能にする。 そして、信頼性を意識したモジュールを導入し、特徴量と予測整合性のサンプルワイドなモダリティ重みを推定し、マルチモーダル融合を向上する。 2つのAADベンチマークの実験では、RAMamba-Netは補完的なEEG-EOG情報を効果的に活用し、より堅牢な復号化と識別表現とともに、単調なベースラインよりも5.76%の精度向上をもたらすことが示されている。 さらに分析したところ、明示的なクロスモーダル相互作用はマルチモーダルアライメントを改善する一方で、信頼性に配慮したモジュールは信頼できないモダリティエビデンスを抑制し、信号摂動やパラメータ変動に頑健であることがわかった。

関連論文リスト

• Exploring Diffusion Transformers for Cross-Modal Augmentation in Multimodal Brain State Decoding [16.06937634283662]
  CoMA-DiTは、ペア化されたモダリティを、単に融合すべき入力としてではなく、相互生成的監督の源として扱う。 マルチモーダル・アテンション・デコーディングと感情認識の実験では、CoMA-DiTが20のベースラインを一貫して上回る結果が得られた。
  論文  参考訳（メタデータ） (2026-09-10T10:20:10Z)
• PIDNet: Progressive Implicit Decouple Network for Multimodal Action Quality Assessment [14.92667427129547]
  アクション品質アセスメント(AQA)は、ビデオにおける人間のアクションの実行品質を自動的に定量化することを目的としており、競争スポーツ判定などのアプリケーションに有用である。 本稿では,モーダリティ特化情報,モーダル間補完手段,グローバル品質セマンティクスを統合した,プログレッシブな暗黙的疎結合・融合ネットワーク(PIDNet)を提案する。 Rhythmic Gymnastics および Fis-V データセットの実験により、PIDNet は既存の単調法やマルチモーダル法と比較して、良好な誤差制御と高い競合スコアの相関が得られた。
  論文  参考訳（メタデータ） (2026-05-09T13:33:16Z)
• Sense Less, Infer More: Agentic Multimodal Transformers for Edge Medical Intelligence [11.75125432258758]
  適応型マルチモーダルインテリジェンス(AMI:Adaptive Multimodal Intelligence)は、いつ、どのように推論するかを共同で学習するエンドツーエンドフレームワークである。 AMIは,(1)Gumbel-Sigmoid Gatingを用いてモデル信頼性とタスク関連性に基づいて動的にアクティブなセンサを選択できる軽量なエージェントモードコントローラ,(2)時間的に冗長なサンプルをスキップするための学習可能なしきい値を持つパッチワイズデルタシグマ演算を適用可能な学習Sigma-Delta Sensingモジュール,(3)非モーダルファウンデーションエンコーダと時間的コンテキストを持つクロスモーダルトランスフォーマーをベースとしたファンデーションベースのマルチモーダル予測モデル,の3つのコンポーネントを統合した。
  論文  参考訳（メタデータ） (2026-04-12T01:46:38Z)
• AlignMamba-2: Enhancing Multimodal Fusion and Sentiment Analysis with Modality-Aware Mamba [56.52470564147458]
  マルチモーダル融合と感情分析のための効率的かつ効率的なフレームワークである textbfAlignMamba-2 を提案する。 提案手法では, 最適輸送距離と最大平均離散度の両方を用いてモデルを正規化する2つのアライメント戦略を導入する。 さらに重要なことは、モダリティに特有かつモダリティに偏ったエキスパートによるMixture-of-Expertsアーキテクチャを採用したModality-Aware Mamba層を設計することです。
  論文  参考訳（メタデータ） (2026-03-19T03:47:21Z)
• Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
  マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。 従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。 我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
  論文  参考訳（メタデータ） (2026-03-07T03:58:48Z)
• TokaMark: A Comprehensive Benchmark for MAST Tokamak Plasma Models [56.94569090844015]
  TokaMarkは、Mega Ampere Spherical Tokamak (MAST)から収集された実実験データに基づいてAIモデルを評価するための構造化ベンチマークである。 TokaMarkは、データ駆動型AIベースのプラズマモデリングの進歩を加速することを目的としている。
  論文  参考訳（メタデータ） (2026-02-05T16:49:44Z)
• FAIM: Frequency-Aware Interactive Mamba for Time Series Classification [87.84511960413715]
  時系列分類(TSC)は、環境モニタリング、診断、姿勢認識など、多くの実世界の応用において重要である。 本稿では,周波数対応対話型マンバモデルであるFAIMを提案する。 FAIMは既存の最先端(SOTA)手法を一貫して上回り、精度と効率のトレードオフが優れていることを示す。
  論文  参考訳（メタデータ） (2025-11-26T08:36:33Z)
• MambaITD: An Efficient Cross-Modal Mamba Network for Insider Threat Detection [9.049925971684837]
  本稿では,Mamba状態空間モデルとクロスモーダル適応融合に基づく新たなインサイダー脅威検出フレームワークMambaITDを提案する。 従来の手法と比較して、MambaITDはモデリング効率と機能融合能力において大きな利点を示している。
  論文  参考訳（メタデータ） (2025-08-06T18:45:00Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。