論文の概要: Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation
- arxiv url: http://arxiv.org/abs/2310.08762v1
- Date: Thu, 12 Oct 2023 23:06:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 15:13:32.905795
- Title: Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation
- Title(参考訳): ダイバージェンス推定による脳波分類における主題伝達の安定化
- Authors: Niklas Smedemark-Margulies, Ye Wang, Toshiaki Koike-Akino, Jing Liu,
Kieran Parsons, Yunus Bicer, Deniz Erdogmus
- Abstract要約: 脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
- 参考スコア(独自算出の注目度): 17.924276728038304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classification models for electroencephalogram (EEG) data show a large
decrease in performance when evaluated on unseen test sub jects. We reduce this
performance decrease using new regularization techniques during model training.
We propose several graphical models to describe an EEG classification task.
From each model, we identify statistical relationships that should hold true in
an idealized training scenario (with infinite data and a globally-optimal
model) but that may not hold in practice. We design regularization penalties to
enforce these relationships in two stages. First, we identify suitable proxy
quantities (divergences such as Mutual Information and Wasserstein-1) that can
be used to measure statistical independence and dependence relationships.
Second, we provide algorithms to efficiently estimate these quantities during
training using secondary neural network models. We conduct extensive
computational experiments using a large benchmark EEG dataset, comparing our
proposed techniques with a baseline method that uses an adversarial classifier.
We find our proposed methods significantly increase balanced accuracy on test
subjects and decrease overfitting. The proposed methods exhibit a larger
benefit over a greater range of hyperparameters than the baseline method, with
only a small computational cost at training time. These benefits are largest
when used for a fixed training period, though there is still a significant
benefit for a subset of hyperparameters when our techniques are used in
conjunction with early stopping regularization.
- Abstract(参考訳): 脳波(EEG)データの分類モデルは、未確認の試験サブジェクトで評価すると、大きな性能低下を示す。
モデルトレーニング中の新しい正規化手法を用いて,この性能低下を低減した。
脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
各モデルから、理想的な訓練シナリオ(無限のデータと大域的最適モデル)で真であるべき統計的関係を特定するが、実際は成り立たないかもしれない。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
まず、統計的独立性および依存関係を測定するために使用できる適切なプロキシ量(Mutual InformationやWasserstein-1など)を同定する。
第2に、二次ニューラルネットワークモデルを用いてトレーニング中にこれらの量を効率的に推定するアルゴリズムを提供する。
我々は,大規模なベンチマークEEGデータセットを用いて大規模な計算実験を行い,提案手法を逆分類器を用いたベースライン手法と比較した。
提案手法は,被験者のバランス精度を著しく向上し,オーバーフィッティングを低減させる。
提案手法はベースライン法よりも広い範囲のハイパーパラメータよりも大きな利点を示し, 訓練時の計算コストは少ない。
これらの利点は、固定されたトレーニング期間に使用する場合が最も大きいが、我々の技術が早期停止正規化と共に使用される場合、ハイパーパラメーターのサブセットには大きな利点がある。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - LTAU-FF: Loss Trajectory Analysis for Uncertainty in Atomistic Force
Fields [5.895479908315789]
モデルアンサンブルを効率的に表現するために,トレーニング中に得られたサンプルごとの誤差の累積分布関数(CDF)を利用する。
LTAUと呼ばれる単純なUQメトリックを開発し、トレーニングや推論で複数のモデルの評価を必要とせず、アンサンブルベースの技法の強みを活用する。
論文 参考訳(メタデータ) (2024-02-01T18:50:42Z) - In-Database Data Imputation [0.6157028677798809]
データの欠落は多くの領域で広く問題となり、データ分析と意思決定の課題を生み出します。
不完全なレコードを除外したり、単純な見積もりを示唆するといった、欠落したデータを扱う従来の手法は、計算的に効率的であるが、バイアスを導入し、変数の関係を乱す可能性がある。
モデルベースの計算手法は、データの変動性と関係を保存し、より堅牢なソリューションを提供するが、彼らは計算時間をはるかに多く要求する。
この作業は、広く使われているMICE方式を用いて、データベースシステム内の効率的で高品質でスケーラブルなデータ計算を可能にする。
論文 参考訳(メタデータ) (2024-01-07T01:57:41Z) - Low-Cost High-Power Membership Inference Attacks [17.128537906121355]
メンバシップ推論攻撃は、機械学習モデルのトレーニングに特定のデータポイントを使用したかどうかを検出することを目的としている。
近年の強力な攻撃は計算コストが高く、様々な条件下では不整合性があり、実際のプライバシーリスク評価には信頼性が低い。
我々は,計算オーバーヘッドを最小限に抑えながら,人口データとモデルのトレーニングデータとを正確に区別する,新しい,効率的で堅牢なメンバシップ推論攻撃(RMIA)を設計する。
論文 参考訳(メタデータ) (2023-12-06T03:18:49Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Kronecker Factorization for Preventing Catastrophic Forgetting in
Large-scale Medical Entity Linking [7.723047334864811]
医療分野では、タスクのシーケンシャルなトレーニングがモデルをトレーニングする唯一の方法である場合もあります。
破滅的な忘れ物、すなわち、新しいタスクのためにモデルが更新されたとき、以前のタスクの精度が大幅に低下します。
本稿では,この手法が3つのデータセットにまたがる医療機関の重要かつ実証的な課題に有効であることを示す。
論文 参考訳(メタデータ) (2021-11-11T01:51:01Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳(メタデータ) (2021-08-28T14:31:45Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-11T03:38:16Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。