論文の概要: Backbone-Informed Adaptation after EEG Pretraining: A Capacity-Controlled Study
- arxiv url: http://arxiv.org/abs/2611.07192v1
- Date: Wed, 04 Nov 2026 22:34:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.462141
- Title: Backbone-Informed Adaptation after EEG Pretraining: A Capacity-Controlled Study
- Title（参考訳）: 脳波予備訓練後の背骨インフォームド適応 : 容量制御による検討
- Abstract要約: バックボーンインフォームド(ネイティブ)アダプタは、トークン単位の多層パーセプトロン制御と比較することにより、与えられたキャパシティをよりよく活用する。
感情認識、睡眠ステージング、EEGイベント分類を含む2つのEEGファンデーションモデルとタスクに対して、ネイティブアダプタは一貫性のある優位性を示していない。
- 参考スコア（独自算出の注目度）: 22.954972684143005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Electroencephalography (EEG) foundation models learn representations that combine information across channels and time. This structure motivates adapters that model the same relationships during downstream learning. However, it is not clear whether such a design outperforms other candidate adapters. Moreover, in order to arrive at a fair comparison between candidate adapters, we also need to consider their trainable parameters. Here, we ask whether a backbone-informed (native) adapter makes better use of a given capacity by comparing it against a token-wise multilayer perceptron control that transforms each feature vector independently. We approximately match their trainable parameter counts and keep the pretrained encoder fixed. Across two EEG foundation models and tasks covering emotion recognition, sleep staging, and EEG event classification, the native adapter shows no consistent advantage. For one backbone, differences between the designs are small relative to variation across runs. For the other, the token-wise control performs better on emotion recognition and EEG event classification. On sleep staging, the native adapter's advantage over the token-wise control is reduced when we also train the component that processes sequences of EEG segments. The relative performance of the two adapters depends on the backbone, task, and downstream training protocol. These findings motivate evaluating backbone-informed adapters against capacity-matched alternatives.
- Abstract（参考訳）: 脳波基礎モデル(EEG)は、チャネルと時間にまたがる情報を組み合わせた表現を学習する。
この構造は、下流学習中に同じ関係をモデル化するアダプタを動機付けます。
しかし、そのような設計が他の候補アダプタより優れているかどうかは不明である。
さらに、候補アダプタを公平に比較するためには、トレーニング可能なパラメータについても検討する必要がある。
ここでは,各特徴ベクトルを独立に変換するトークンワイド多層パーセプトロン制御との比較により,バックボーンインフォームド(ネイティブ)アダプタが与えられたキャパシティを有効活用するかどうかを問う。
トレーニング可能なパラメータ数とほぼ一致し、事前トレーニングされたエンコーダを固定する。
感情認識、睡眠ステージング、EEGイベント分類を含む2つのEEGファンデーションモデルとタスクに対して、ネイティブアダプタは一貫性のある優位性を示していない。
1つのバックボーンでは、デザインの違いはラン間の変動と比べて小さい。
一方、トークンワイズ制御は感情認識と脳波イベント分類に優れる。
スリープステージングでは、トークン単位の制御に対するネイティブアダプタのアドバンテージは、EEGセグメントのシーケンスを処理するコンポーネントをトレーニングする際にも減少します。
2つのアダプタの相対的な性能は、バックボーン、タスク、下流トレーニングプロトコルに依存する。
これらの知見は, バックボーンインフォームドアダプターをキャパシティに適合した代替品に対して評価する動機となった。
関連論文リスト
- ARIADNE: Agnostic Routing for Inference-time Adapter DyNamic sElection [3.1146094767219967]
ARIADNEは、推論時に動的アダプタの選択を行うための、トレーニング不要でアダプタに依存しないルーティングフレームワークである。
ARIADNEは、トレーニングセットの埋め込みから計算されたセントロイドのセットを通じて各アダプタを表現し、そのアダプタに関連するデータ分布をキャプチャする。
ラベルのない入力が与えられた場合、ラテント空間内のこれらのセントロイドに近接して測定することでアダプタを選択する。
論文 参考訳（メタデータ） (2026-06-17T13:50:51Z) - iConFormer: Dynamic Parameter-Efficient Tuning with Input-Conditioned Adaptation [15.97351561456467]
本稿では,iConFormerと呼ばれる新しいPEFT手法,入出力トランスフォーマーを提案する。
インスタンスレベルの特徴変換を可能にする動的アダプタに,入出力ネットワーク(iCoN)を導入する。
具体的に言うと、iCoNは各機能に対してチャネルワイドな畳み込みカーネルを生成し、それを適応畳み込みプロセスを使って変換し、下流タスクに適したタスク固有できめ細かな詳細を効果的にキャプチャする。
論文 参考訳（メタデータ） (2024-09-04T16:06:23Z) - MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。
2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
論文 参考訳（メタデータ） (2023-08-30T12:10:17Z) - Parameter-Efficient Sparse Retrievers and Rerankers using Adapters [4.9545244468634655]
本研究では,スパースレトリバーであるSPLADEのアダプタについて検討する。
また、クロスドメインBEIRデータセットとTripClickのアダプタにより、ニューラルネットワークのドメイン適応にも対処する。
論文 参考訳（メタデータ） (2023-03-23T12:34:30Z) - Your representations are in the network: composable and parallel
adaptation for large scale models [90.26965623489157]
InCAは、事前訓練されたモデルの任意のアクティベーション層にクロスタッチするトランスファー学習の軽量な方法である。
InCAは,1つのトップスコーリングアダプタを選択しても,フル微調整に匹敵する性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-03-07T18:12:24Z) - Towards Efficient Visual Adaption via Structural Re-parameterization [76.57083043547296]
本稿では,RepAdapterと呼ばれる巨大ビジョンモデルに対して,パラメータ効率と計算親和性を考慮したアダプタを提案する。
RepAdapterは、VTAB-1k上で25%のトレーニング時間、20%のGPUメモリ、94.6%のストレージコストを節約できる。
論文 参考訳（メタデータ） (2023-02-16T06:14:15Z) - AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large
Language Models [119.7093605087114]
大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。
これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。
パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
論文 参考訳（メタデータ） (2022-05-24T23:41:22Z) - Adaptable Adapters [74.65986170056945]
最先端のNLPモデルには1億から1兆のパラメータが含まれる。
適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。
適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
論文 参考訳（メタデータ） (2022-05-03T14:59:27Z) - AdapterBias: Parameter-efficient Token-dependent Representation Shift
for Adapters in NLP Tasks [55.705355299065474]
数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。
近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。
本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
論文 参考訳（メタデータ） (2022-04-30T16:49:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。