論文の概要: STAMBRIDGE: Spectral-Temporal Amplitude-aware Mid-Feature Bridge for EEG Visual Decoding
- arxiv url: http://arxiv.org/abs/2605.23137v2
- Date: Wed, 27 May 2026 01:16:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:54.88073
- Title: STAMBRIDGE: Spectral-Temporal Amplitude-aware Mid-Feature Bridge for EEG Visual Decoding
- Title(参考訳): STAMBRIDGE:脳波視覚復号のためのスペクトル時間振幅対応ミッドフィーチャーブリッジ
- Authors: Jiahe Meng, Weiming Zeng, Yueyang Li, Bo Chai, Hongjie Yan, Zhiguo Zhang, Wai Ting Siok, Nizhuan Wang,
- Abstract要約: STAMBRIDGEは機能コンディショニングとクロスモーダルアライメントに取り組む汎用的な2段階フレームワークである。
このような頑健なニューラルネットワークの特徴を基盤として,モデルに依存しない中機能セマンティックブリッジ(MFSB)を導入する。
THINGS-EEGベンチマークの実験では、Top-1の34.50%、Top-5の65.95%の精度で200方向ゼロショットの検索性能が向上した。
- 参考スコア(独自算出の注目度): 5.653339889503698
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Electroencephalography (EEG) visual decoding remains challenging due to the modality gap between low-SNR neural signals and highly structured vision--language spaces, making direct cross-modal alignment unstable. To address this, we propose STAMBRIDGE, a versatile two-stage framework that sequentially tackles feature conditioning and cross-modal alignment. First, we introduce a Spectral-Temporal Amplitude-aware Modulation (STAM) to extract well-conditioned EEG representations. By replacing hard frequency masking with amplitude-derived soft channel weighting and multi-scale temporal convolutions, STAM explicitly preserves frequency-aware transients while reducing the risk of time-domain ringing artifacts. Building upon these robust neural features, we further introduce a model-agnostic Mid-Feature Semantic Bridge (MFSB) that constructs a regularized intermediate space through directed cross-modal interactions, enabling staged distillation and more stable semantic alignment. Experiments on the THINGS-EEG benchmark show competitive 200-way zero-shot retrieval performance, with 34.50\% Top-1 and 65.95\% Top-5 accuracy. In addition, embeddings learned by STAMBRIDGE produce semantically coherent image reconstructions with a diffusion model, demonstrating robust EEG-to-vision semantic alignment. The code is available at: https://github.com/thabeatmjh/STAMBRIDGE.
- Abstract(参考訳): 脳波(EEG)の視覚復号は、低SNRニューラル信号と高度に構造化された視覚空間の間のモダリティギャップのため、依然として困難であり、直接のクロスモーダルアライメントは不安定である。
そこで本稿では,機能条件と相互アライメントを逐次処理する汎用2段階フレームワークSTAMBRIDGEを提案する。
まず、スペクトル・テンポラル振幅対応変調(STAM)を導入し、良質なEEG表現を抽出する。
ハード周波数マスキングを振幅由来のソフトチャネル重み付けとマルチスケールの時間的畳み込みに置き換えることで、STAMは時間領域リングアーティファクトのリスクを低減しつつ、周波数対応のトランジェントを明示的に保持する。
これらの頑健なニューラルネットワーク特性を基盤として, モデルに依存しないMFSB (Mid-Feature Semantic Bridge) を導入し, 相互モーダル相互作用による正則化中間空間を構築し, 段階的蒸留とより安定したセマンティックアライメントを実現する。
THINGS-EEGベンチマークの実験では、Top-1が34.50\%、Top-5が65.95\%の200方向ゼロショット検索性能を示した。
さらにSTAMBRIDGEが学習した埋め込みは拡散モデルとセマンティックコヒーレントな画像再構成を生成し、ロバストなEEGとビジョンのセマンティックアライメントを示す。
コードは、https://github.com/thabeatmjh/STAMBRIDGE.comで入手できる。
関連論文リスト
- CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。
CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。
超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
論文 参考訳(メタデータ) (2026-04-05T20:13:22Z) - WS-Net: Weak-Signal Representation Learning and Gated Abundance Reconstruction for Hyperspectral Unmixing via State-Space and Weak Signal Attention Fusion [6.0621081081000385]
ハイパースペクトル画像における弱スペクトル応答は、支配的なエンドメンバーとセンサーノイズによってしばしば無視される。
本稿では、弱い信号の崩壊に対処するために設計されたディープ・アンミックス・フレームワークであるWS-Netを紹介する。
このフレームワークは低SNR条件下では安定な精度を維持しており、特に弱いエンドメンバーに対して有効である。
論文 参考訳(メタデータ) (2026-03-10T00:12:33Z) - Advancing accelerator virtual beam diagnostics through latent evolution modeling: an integrated solution to forward, inverse, tuning, and UQ problems [46.568487965999225]
我々は,高次元位相空間を低次元表現に投影するオートエンコーダと,潜時空間における時間ダイナミクスを学習するための変換器を備えたハイブリッド機械学習フレームワークであるLatent Evolution Model (LEM)を提案する。
テキストフォワードモデリングでは、CVAEは6次元位相空間の15のユニークな射影を潜在表現に符号化し、トランスフォーマーは上流からの入力から下流の潜在状態を予測する。
テキスト逆問題では、(a)下流観測から上流位相空間を予測すること、(b)潜時空間からRF設定を推定することの2つの異なる課題に対処する。
論文 参考訳(メタデータ) (2026-02-26T04:46:26Z) - Subtractive Modulative Network with Learnable Periodic Activations [59.89799070130572]
本稿では,古典的部分抽出合成にインスパイアされた,パラメータ効率の高いインプシットニューラル表現アーキテクチャを提案する。
我々のSMNは2つの画像データセット上で40ドル以上のPSNRを達成し、再現精度とパラメータ効率の両面で最先端の手法と比較した。
論文 参考訳(メタデータ) (2026-02-18T10:20:50Z) - WaveSeg: Enhancing Segmentation Precision via High-Frequency Prior and Mamba-Driven Spectrum Decomposition [61.3530659856013]
本稿では,空間およびウェーブレット領域の機能改善を共同で最適化する新しいデコーダアーキテクチャであるWaveSegを提案する。
高周波成分は、まず入力画像から、境界の詳細を強化するために明示的な先行として学習される。
標準ベンチマークの実験では、Mambaベースの注目に先立ってウェーブレット-ドメイン周波数を利用するWaveSegが、常に最先端のアプローチより優れていることが示されている。
論文 参考訳(メタデータ) (2025-10-24T01:41:31Z) - Bidirectional Time-Frequency Pyramid Network for Enhanced Robust EEG Classification [2.512406961007489]
BITE(Bidirectional Time-Freq Pyramid Network)は、ロバストなマルチストリームシナジー、ピラミッド時間周波数アテンション(PTFA)、双方向適応畳み込みを特徴とするエンドツーエンドの統一アーキテクチャである。
統一アーキテクチャとして、MIタスクとSSVEPタスクの両方にわたる堅牢なパフォーマンスと、例外的な計算効率を組み合わせる。
我々の研究は、信頼性の高いBCIシステムにはスペクトル時間処理が不可欠であることを検証している。
論文 参考訳(メタデータ) (2025-10-11T04:14:48Z) - FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [92.4205087439928]
画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。
自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。
PSTは、画像基盤モデルとの遅延空間アライメントによるクロスモーダルな知識伝達を確立し、データ不足を効果的に軽減する。
FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
この組み合わせのアプローチにより、FUSEはターゲットデータセットに対する軽量デコーダ適応のみを必要とするユニバーサルなイメージイベントを構築することができる。
論文 参考訳(メタデータ) (2025-03-25T15:04:53Z) - Conditioning Trick for Training Stable GANs [70.15099665710336]
本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。
我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
論文 参考訳(メタデータ) (2020-10-12T16:50:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。