論文の概要: SPEED: Scalable Preprocessing of EEG Data for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2408.08065v2
• Date: Mon, 19 Aug 2024 19:53:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 18:50:03.426027
• Title: SPEED: Scalable Preprocessing of EEG Data for Self-Supervised Learning
• Title（参考訳）: SPEED: 自己監督型学習のための脳波データのスケーラブルな前処理
• Authors: Anders Gjølbye, Lina Skerath, William Lehn-Schiøler, Nicolas Langer, Lars Kai Hansen,
• Abstract要約: 自己教師付き学習に最適化されたPythonベースのEEG前処理パイプラインを提案する。 この最適化は、自己教師付きトレーニングを安定化し、下流タスクのパフォーマンスを向上させる。
• 参考スコア（独自算出の注目度）: 2.705542761685457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Electroencephalography (EEG) research typically focuses on tasks with narrowly defined objectives, but recent studies are expanding into the use of unlabeled data within larger models, aiming for a broader range of applications. This addresses a critical challenge in EEG research. For example, Kostas et al. (2021) show that self-supervised learning (SSL) outperforms traditional supervised methods. Given the high noise levels in EEG data, we argue that further improvements are possible with additional preprocessing. Current preprocessing methods often fail to efficiently manage the large data volumes required for SSL, due to their lack of optimization, reliance on subjective manual corrections, and validation processes or inflexible protocols that limit SSL. We propose a Python-based EEG preprocessing pipeline optimized for self-supervised learning, designed to efficiently process large-scale data. This optimization not only stabilizes self-supervised training but also enhances performance on downstream tasks compared to training with raw data.
• Abstract（参考訳）: 電脳波法(EEG)の研究は通常、狭義の目的を持つタスクに焦点を当てるが、近年の研究はより大きなモデル内でラベルのないデータの使用に拡大し、幅広い応用を目指している。 これは脳波研究における重要な課題に対処する。 例えば、Kostas et al (2021) は、自己教師あり学習(SSL)が従来の教師あり学習方法より優れていることを示した。 脳波データのノイズレベルが高いことから、我々はさらなる事前処理によりさらなる改善が可能であると論じる。 現在の前処理方法は、最適化の欠如、主観的な手動修正への依存、SSLを制限する検証プロセスや柔軟性のないプロトコルなどにより、SSLに必要な大規模なデータボリュームを効率的に管理できないことが多い。 大規模データを効率的に処理するための自己教師付き学習に最適化したPythonベースのEEG前処理パイプラインを提案する。 この最適化は、自己教師付きトレーニングを安定化するだけでなく、生データによるトレーニングと比較して下流タスクのパフォーマンスを向上させる。

関連論文リスト

• Beware of Calibration Data for Pruning Large Language Models [41.1689082093302]
  トレーニング後のプルーニングは、リソース集約的な反復的なトレーニングを必要としない有望な方法である。 キャリブレーションデータの効果は, 先進的な刈り取り戦略を設計するよりもさらに価値が高いことを示す。 予備調査では、トレーニングデータに類似したキャリブレーションデータを使用することで、より良いパフォーマンスが得られることも明らかにした。
  論文  参考訳（メタデータ） (2024-10-23T09:36:21Z)
• Dynamic Gradient Alignment for Online Data Mixing [23.774035761200746]
  大規模言語モデル(LLM)を効果的に訓練するためには、学習データ混合物の構成が重要である この問題に対する従来のアプローチには、アドホックリウェイト法、重要サンプリング、勾配アライメント技術などがある。 本稿では、勾配アライメントに着目し、スケーラブルなオンライン勾配アライメントアルゴリズムである動的勾配アライメント(DGA)を導入する。
  論文  参考訳（メタデータ） (2024-10-03T14:00:44Z)
• Dataset Distillation via Knowledge Distillation: Towards Efficient Self-Supervised Pre-Training of Deep Networks [10.932880269282014]
  SSL事前トレーニングのための最初の有効なDD法を提案する。 具体的には、SSLでトレーニングされたより大きな教師モデルの表現に合わせるために、小さな学生モデルを訓練する。 KDの目的はSSLよりもかなり分散度が低いため、我々の手法は、高品質エンコーダの事前訓練に成功できる合成データセットを生成することができる。
  論文  参考訳（メタデータ） (2024-10-03T00:39:25Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene Classification [5.323049242720532]
  リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。 そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
  論文  参考訳（メタデータ） (2023-07-04T10:57:52Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。