論文の概要: Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation
- arxiv url: http://arxiv.org/abs/2310.08762v1
- Date: Thu, 12 Oct 2023 23:06:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 15:13:32.905795
- Title: Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation
- Title（参考訳）: ダイバージェンス推定による脳波分類における主題伝達の安定化
- Authors: Niklas Smedemark-Margulies, Ye Wang, Toshiaki Koike-Akino, Jing Liu,
Kieran Parsons, Yunus Bicer, Deniz Erdogmus
- Abstract要約: 脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
- 参考スコア（独自算出の注目度）: 17.924276728038304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classification models for electroencephalogram (EEG) data show a large
decrease in performance when evaluated on unseen test sub jects. We reduce this
performance decrease using new regularization techniques during model training.
We propose several graphical models to describe an EEG classification task.
From each model, we identify statistical relationships that should hold true in
an idealized training scenario (with infinite data and a globally-optimal
model) but that may not hold in practice. We design regularization penalties to
enforce these relationships in two stages. First, we identify suitable proxy
quantities (divergences such as Mutual Information and Wasserstein-1) that can
be used to measure statistical independence and dependence relationships.
Second, we provide algorithms to efficiently estimate these quantities during
training using secondary neural network models. We conduct extensive
computational experiments using a large benchmark EEG dataset, comparing our
proposed techniques with a baseline method that uses an adversarial classifier.
We find our proposed methods significantly increase balanced accuracy on test
subjects and decrease overfitting. The proposed methods exhibit a larger
benefit over a greater range of hyperparameters than the baseline method, with
only a small computational cost at training time. These benefits are largest
when used for a fixed training period, though there is still a significant
benefit for a subset of hyperparameters when our techniques are used in
conjunction with early stopping regularization.
- Abstract（参考訳）: 脳波(EEG)データの分類モデルは、未確認の試験サブジェクトで評価すると、大きな性能低下を示す。
モデルトレーニング中の新しい正規化手法を用いて,この性能低下を低減した。
脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
各モデルから、理想的な訓練シナリオ(無限のデータと大域的最適モデル)で真であるべき統計的関係を特定するが、実際は成り立たないかもしれない。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
まず、統計的独立性および依存関係を測定するために使用できる適切なプロキシ量(Mutual InformationやWasserstein-1など)を同定する。
第2に、二次ニューラルネットワークモデルを用いてトレーニング中にこれらの量を効率的に推定するアルゴリズムを提供する。
我々は,大規模なベンチマークEEGデータセットを用いて大規模な計算実験を行い,提案手法を逆分類器を用いたベースライン手法と比較した。
提案手法は,被験者のバランス精度を著しく向上し,オーバーフィッティングを低減させる。
提案手法はベースライン法よりも広い範囲のハイパーパラメータよりも大きな利点を示し, 訓練時の計算コストは少ない。
これらの利点は、固定されたトレーニング期間に使用する場合が最も大きいが、我々の技術が早期停止正規化と共に使用される場合、ハイパーパラメーターのサブセットには大きな利点がある。
関連論文リスト
- A Bayesian Approach to Data Point Selection [24.98069363998565]
データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。
既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。
DPSに対する新しいベイズ的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-06T09:04:13Z) - On Improving the Algorithm-, Model-, and Data- Efficiency of Self-Supervised Learning [18.318758111829386]
非パラメトリックなインスタンス識別に基づく効率的なシングルブランチSSL手法を提案する。
また,確率分布と正方形根版とのKL分散を最小限に抑える新しい自己蒸留損失を提案する。
論文 参考訳（メタデータ） (2024-04-30T06:39:04Z) - A Lightweight Measure of Classification Difficulty from Application Dataset Characteristics [4.220363193932374]
効率的なコサイン類似度に基づく分類困難度尺度Sを提案する。
データセットのクラス数とクラス内およびクラス間の類似度メトリクスから計算される。
この手法を実践者が、繰り返しトレーニングやテストによって、6倍から29倍の速度で効率の良いモデルを選択するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2024-04-09T03:27:09Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。
提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
論文 参考訳（メタデータ） (2023-12-03T05:52:30Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Kronecker Factorization for Preventing Catastrophic Forgetting in
Large-scale Medical Entity Linking [7.723047334864811]
医療分野では、タスクのシーケンシャルなトレーニングがモデルをトレーニングする唯一の方法である場合もあります。
破滅的な忘れ物、すなわち、新しいタスクのためにモデルが更新されたとき、以前のタスクの精度が大幅に低下します。
本稿では,この手法が3つのデータセットにまたがる医療機関の重要かつ実証的な課題に有効であることを示す。
論文 参考訳（メタデータ） (2021-11-11T01:51:01Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。