論文の概要: Dataset-Dependent Effects of Cross-Depth Aggregation and Soft-Routed Experts in EEG Foundation Model Fine-Tuning
- arxiv url: http://arxiv.org/abs/2609.17886v1
- Date: Tue, 15 Sep 2026 22:24:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.555131
- Title: Dataset-Dependent Effects of Cross-Depth Aggregation and Soft-Routed Experts in EEG Foundation Model Fine-Tuning
- Title（参考訳）: EEGファンデーションモデルファインチューニングにおけるクロス・ディープス・アグリゲーションとソフト・トラウト・エキスパートのデータセット依存効果
- Abstract要約: 我々は,CBraModをAttnRes(AttnRes)と2つの軟弱専門銀行で拡張することにより,完全微調整のEEG基盤モデルを改善するかどうかを検証した。
AttnResだけで3つのデータセットの平均バランス精度が向上する一方、AttnResに専門家を追加することで、FACEDとSEED-Vのみが有効になる。
- 参考スコア（独自算出の注目度）: 22.954972684143005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: EEG decoding tasks can rely on different temporal dynamics and cross-channel relationships. We test whether specialized modules improve a fully fine-tuned EEG foundation model by augmenting CBraMod with cross-depth Attention Residuals (AttnRes) and two soft-routed expert banks. Across matched three-seed experiments on FACED, ISRUC, SEED-V, and PhysioNet-MI, the complete model changes mean balanced accuracy relative to full fine-tuning by -0.12, +1.27, +0.77, and -1.27 points, respectively. AttnRes alone improves mean balanced accuracy on three datasets, whereas adding experts on top of AttnRes helps only FACED and SEED-V. These gains come with substantial overhead: AttnRes requires 2.11 to 2.88x runtime and 1.78 to 2.67x memory, while the complete model requires 2.41 to 3.04x runtime and 1.86 to 2.85x memory. Overall, the added modules produce dataset-dependent, sometimes opposing effects rather than consistent gains over full fine-tuning.
- Abstract（参考訳）: EEGデコーディングタスクは、異なる時間的ダイナミクスとチャネル間の関係に依存することができる。
我々は,CBraModをAttnRes(AttnRes)と2つの軟弱専門銀行で拡張することにより,完全微調整のEEG基盤モデルを改善するかどうかを検証した。
FACED、ISRUC、SEED-V、PhyloNet-MIの3種類の実験と一致し、完全なモデル変更は完全な微調整と比較してそれぞれ-0.12、+1.27、+0.77、-1.27ポイントのバランスの取れた精度を平均した。
AttnResだけで3つのデータセットの平均バランス精度が向上する一方、AttnResに専門家を追加することで、FACEDとSEED-Vのみが有効になる。
AttnResは2.11から2.88xのランタイムと1.78から2.67xのメモリを必要とするが、完全なモデルは2.41から3.04xのランタイムと1.86から2.85xのメモリを必要とする。
全体として、追加されたモジュールは、完全な微調整よりも一貫性のあるゲインではなく、データセットに依存し、時には反対効果を生成する。
関連論文リスト
- LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。
我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。
23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
論文 参考訳（メタデータ） (2026-08-04T10:53:02Z) - RD-ViT: Recurrent-Depth Vision Transformer for Semantic Segmentation with Reduced Data Dependence Extending the Recurrent-Depth Transformer Architecture to Dense Prediction [2.8222472653971917]
ViT(Vision Transformer)は最先端のセグメンテーション精度を実現するが、大規模なトレーニングデータセットを必要とする。
本稿では,Recurrent-Depth Vision Transformerアーキテクチャを高密度予測タスクに適用したRD-ViTを提案する。
RD-ViTは、ユニークなトランスフォーマーブロックの深いスタックを単一の共有ブロックループT倍に置き換え、LTI安定状態注入で拡張してコンバージェンスを保証する。
論文 参考訳（メタデータ） (2026-05-05T17:21:18Z) - Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [57.20181537213498]
Agentic Harness Engineering (AHE)は、ハーネスエンジニアリングを自動化するクローズドループである。
AHEは3つの一致した可観測性柱を通じて課題に対処する。
10 AHE lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%。
SWE-bench-verifiedでは、種子よりも12%少ないトークンで合計成功率を上回り、ターミナルベンチ2では+5.1から+10.1ppのクロスファミリーゲインを得る。
論文 参考訳（メタデータ） (2026-04-28T16:55:02Z) - Efficient-Husformer: Efficient Multimodal Transformer Hyperparameter Optimization for Stress and Cognitive Loads [0.0]
トランスフォーマーに基づくモデルは生理的信号解析の分野で大きな注目を集めている。
時間的信号の長距離依存性や複雑なパターンを活用することで、従来のRNNやCNNモデルよりも優れたパフォーマンスを実現することができる。
マルチクラスストレス検出のためのトランスフォーマーベースアーキテクチャであるEfficient-Husformerを提案する。
論文 参考訳（メタデータ） (2025-11-27T12:02:25Z) - One Model for All: Universal Pre-training for EEG based Emotion Recognition across Heterogeneous Datasets and Paradigms [9.873322204941394]
One Model for All"は、異なるデータセット間でのEEG分析のための普遍的な事前トレーニングフレームワークである。
我々のフレームワークは、SEED (99.27%)、DEAP (93.69%)、DREAMER (93.93%)という、全てのオブジェクト内ベンチマークで新しいSOTA性能を実現する。
この研究は、多種多様な脳波分析タスクのための、より普遍的でスケーラブルで効果的な事前学習モデルの道を開いた。
論文 参考訳（メタデータ） (2025-11-11T16:46:45Z) - Pearl: A Foundation Model for Placing Every Atom in the Right Location [52.35027831422145]
タンパク質-リガンド共フォールディングの基礎モデルであるPearlを紹介した。
パールはタンパク質-リガンド結合における新しい最先端性能を確立している。
Pearlは、パブリックなRuns N' PosesとPoseBustersベンチマークでAlphaFold 3や他のオープンソースベースラインを上回っている。
論文 参考訳（メタデータ） (2025-10-28T17:36:51Z) - Is Architectural Complexity Overrated? Competitive and Interpretable Knowledge Graph Completion with RelatE [6.959701672059059]
RelatEは、エンティティとリレーションの二重表現を効率的に統合する、解釈可能でモジュラーな方法である。
標準ベンチマークにおいて、競争力や優れたパフォーマンスを達成する。
摂動実験では、MRRはTransEと比較して最大61%、RotatEと比較して最大19%減少し、ロバスト性が改善された。
論文 参考訳（メタデータ） (2025-05-25T04:36:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。