論文の概要: CiTrus: Squeezing Extra Performance out of Low-data Bio-signal Transfer Learning

• arxiv url: http://arxiv.org/abs/2412.11695v2
• Date: Wed, 18 Dec 2024 17:40:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:25:00.888208
• Title: CiTrus: Squeezing Extra Performance out of Low-data Bio-signal Transfer Learning
• Title（参考訳）: CiTrus:低データバイオ信号伝達学習による余分なパフォーマンス向上
• Authors: Eloy Geenjaar, Lie Lu,
• Abstract要約: 近年, 生体信号の伝達学習は, 小さな生体信号データセットを用いて下流タスクの予測性能を向上させる重要な手法となっている。 低データの生体信号伝達学習のためのマスク付き自動符号化を用いた畳み込み変換型ハイブリッドモデルアーキテクチャを提案する。 我々のハイブリッドモデルにおける畳み込みのみの部分は、いくつかの低データダウンストリームタスクにおいて最先端のパフォーマンスを達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 0.36832029288386137
• License:
• Abstract: Transfer learning for bio-signals has recently become an important technique to improve prediction performance on downstream tasks with small bio-signal datasets. Recent works have shown that pre-training a neural network model on a large dataset (e.g. EEG) with a self-supervised task, replacing the self-supervised head with a linear classification head, and fine-tuning the model on different downstream bio-signal datasets (e.g., EMG or ECG) can dramatically improve the performance on those datasets. In this paper, we propose a new convolution-transformer hybrid model architecture with masked auto-encoding for low-data bio-signal transfer learning, introduce a frequency-based masked auto-encoding task, employ a more comprehensive evaluation framework, and evaluate how much and when (multimodal) pre-training improves fine-tuning performance. We also introduce a dramatically more performant method of aligning a downstream dataset with a different temporal length and sampling rate to the original pre-training dataset. Our findings indicate that the convolution-only part of our hybrid model can achieve state-of-the-art performance on some low-data downstream tasks. The performance is often improved even further with our full model. In the case of transformer-based models we find that pre-training especially improves performance on downstream datasets, multimodal pre-training often increases those gains further, and our frequency-based pre-training performs the best on average for the lowest and highest data regimes.
• Abstract（参考訳）: 近年, 生体信号の伝達学習は, 小さな生体信号データセットを用いて下流タスクの予測性能を向上させる重要な手法となっている。 近年の研究では、大規模データセット(eg EEG)上のニューラルネットワークモデルを自己教師付きタスクで事前トレーニングし、自己教師付きヘッドを線形分類ヘッドに置き換え、下流のさまざまな生体信号データセット(eg、EMG、ECG)上でモデルを微調整することで、これらのデータセットのパフォーマンスが劇的に向上することが示されている。 本稿では,低データの生体信号伝達学習のためのマスク付きオートエンコーディングを用いた新しい畳み込みトランスフォーマーハイブリッドモデルアーキテクチャを提案し,周波数ベースのマスク付きオートエンコーディングタスクを導入し,より包括的な評価フレームワークを採用し,マルチモーダル(multimodal)事前学習が微調整性能を向上させるかを評価する。 また、従来の事前学習データセットと異なる時間長とサンプリングレートで下流データセットを整列する性能を劇的に向上させる手法も導入する。 我々のハイブリッドモデルにおける畳み込みのみの部分は、いくつかの低データダウンストリームタスクにおいて最先端のパフォーマンスを達成できることが示唆された。 パフォーマンスは、フルモデルでさらに改善されることが多い。 トランスフォーマーベースモデルの場合、特に事前トレーニングは下流データセットのパフォーマンスを向上し、マルチモーダル事前トレーニングはこれらの向上をさらに増加させ、我々の周波数ベースの事前トレーニングは、最下層と最上層のデータレギュレーションで平均最高のパフォーマンスを発揮する。

関連論文リスト

• Multi-Scale Convolutional LSTM with Transfer Learning for Anomaly Detection in Cellular Networks [1.1432909951914676]
  本研究では,トランスファーラーニング(TL)を用いたマルチスケール畳み込みLSTMによるセルネットワークの異常検出手法を提案する。 モデルは最初、公開データセットを使用してスクラッチからトレーニングされ、典型的なネットワーク動作を学習する。 我々は,スクラッチから訓練したモデルの性能と,TLを用いた微調整モデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-09-30T17:51:54Z)
• Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
  我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。 CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。 睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-05-30T08:24:01Z)
• Convolutional Neural Networks for the classification of glitches in gravitational-wave data streams [52.77024349608834]
  我々は、高度LIGO検出器のデータから過渡ノイズ信号(グリッチ)と重力波を分類する。 どちらも、Gravity Spyデータセットを使用して、スクラッチからトレーニングされた、教師付き学習アプローチのモデルを使用します。 また、擬似ラベルの自動生成による事前学習モデルの自己教師型アプローチについても検討する。
  論文  参考訳（メタデータ） (2023-03-24T11:12:37Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Transfer Learning Based Efficient Traffic Prediction with Limited Training Data [3.689539481706835]
  インターネットトラフィックの効率的な予測は、積極的な管理を確保するための自己組織化ネットワーク(SON)の不可欠な部分である。 限られた訓練データを用いたネットワークトラフィック予測における深部シーケンスモデルは、現在研究されている研究で広く研究されていない。 不適切な歴史データを用いた交通予測における深層移動学習手法の性能について検討・評価を行った。
  論文  参考訳（メタデータ） (2022-05-09T14:44:39Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• The Imaginative Generative Adversarial Network: Automatic Data Augmentation for Dynamic Skeleton-Based Hand Gesture and Human Action Recognition [27.795763107984286]
  本稿では、入力データの分布を近似し、この分布から新しいデータをサンプリングする新しい自動データ拡張モデルを提案する。 以上の結果から,拡張戦略は訓練が高速であり,ニューラルネットワークと最先端手法の両方の分類精度を向上させることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-27T11:07:09Z)
• Adaptive Weighting Scheme for Automatic Time-Series Data Augmentation [79.47771259100674]
  データ拡張のための2つのサンプル適応自動重み付けスキームを提案する。 提案手法を大規模でノイズの多い財務データセットとUCRアーカイブからの時系列データセット上で検証する。 金融データセットでは、取引戦略と組み合わせた手法が50 $%$以上の年間収益の改善につながることを示し、時系列データでは、データセットの半分以上で最新モデルを上回るパフォーマンスを発揮し、他のものと同様の精度を達成しています。
  論文  参考訳（メタデータ） (2021-02-16T17:50:51Z)
• Learning across label confidence distributions using Filtered Transfer Learning [0.44040106718326594]
  本稿では,大きな可変信頼度データセットを持つノイズの多いデータシステムにおいて,予測能力を向上させるための伝達学習手法を提案する。 本稿では、複数の階層のデータ信頼度を個別のタスクとして定義する、FTL(Filted Transfer Learning)と呼ばれるディープニューラルネットワーク手法を提案する。 FTLを用いてラベル信頼度分布を段階的に学習すると、単一の信頼範囲でトレーニングされたディープニューラルネットワークモデルよりも高いパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-03T21:00:11Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。