論文の概要: Sleep-Like Unsupervised Replay Improves Performance when Data are Limited or Unbalanced

• arxiv url: http://arxiv.org/abs/2402.10956v1
• Date: Mon, 12 Feb 2024 18:25:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-25 17:07:42.011592
• Title: Sleep-Like Unsupervised Replay Improves Performance when Data are Limited or Unbalanced
• Title（参考訳）: データが制限されたり、アンバランスになったりして、Sleep-like Unsupervised Replayのパフォーマンスが向上
• Authors: Anthony Bazhenov, Pahan Dewasurendra, Giri Krishnan, Jean Erik Delanois
• Abstract要約: 睡眠は、局所的なヘビアン型学習規則による教師なしの段階として実装された。 MNISTおよびFashion MNISTデータセットの0.5-10%の範囲で、限られたデータで訓練されたモデルに対して、睡眠後の精度が大幅に向上した。 この研究は、睡眠中に脳が採用するシナプス量力学の潜在的な戦略に光を当て、トレーニングデータに制限や不均衡がある場合の記憶性能を高める。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The performance of artificial neural networks (ANNs) degrades when training data are limited or imbalanced. In contrast, the human brain can learn quickly from just a few examples. Here, we investigated the role of sleep in improving the performance of ANNs trained with limited data on the MNIST and Fashion MNIST datasets. Sleep was implemented as an unsupervised phase with local Hebbian type learning rules. We found a significant boost in accuracy after the sleep phase for models trained with limited data in the range of 0.5-10% of total MNIST or Fashion MNIST datasets. When more than 10% of the total data was used, sleep alone had a slight negative impact on performance, but this was remedied by fine-tuning on the original data. This study sheds light on a potential synaptic weight dynamics strategy employed by the brain during sleep to enhance memory performance when training data are limited or imbalanced.
• Abstract（参考訳）: ANN(Artificial Neural Network)のパフォーマンスは、トレーニングデータの制限や不均衡によって低下する。 対照的に、人間の脳はほんの数例から素早く学習することができる。 本稿では,MNISTデータセットとFashion MNISTデータセットの限られたデータを用いて訓練されたANNの性能向上における睡眠の役割について検討した。 睡眠はヘビアン型学習規則による教師なしの段階として実装された。 MNISTおよびFashion MNISTデータセットの0.5-10%の範囲で、限られたデータで訓練されたモデルに対して、睡眠後の精度が大幅に向上した。 総データの10%以上を使用した場合、睡眠はパフォーマンスにわずかに悪影響を及ぼしたが、元のデータを微調整することで改善された。 この研究は、睡眠中に脳が採用するシナプス量力学の潜在的な戦略に光を当て、トレーニングデータに制限や不均衡がある場合の記憶性能を高める。

関連論文リスト

• Unsupervised Replay Strategies for Continual Learning with Limited Data [1.0687104237121408]
  限られたデータで訓練したモデルにおいて、睡眠相の導入により精度が大幅に向上したことを示す。 数回のタスクが連続的にトレーニングされたとき、新しいタスクトレーニングの後、悲惨なほど忘れていた学習情報を、スリープ再生が救われた。 本研究は,ANNにおける学習効率の向上と継続学習の促進における睡眠再生の多面的役割を強調した。
  論文  参考訳（メタデータ） (2024-10-21T16:21:09Z)
• Not Everything is All You Need: Toward Low-Redundant Optimization for Large Language Model Alignment [126.34547428473968]
  大規模言語モデル(LLM)は、複雑なタスクやシナリオにおいて、人間の好みに合わせるのに依然として苦労しています。 我々は、最も有用な教師付き信号を用いて、最も関連性の高いニューロンを最適化することに焦点を当てた、textbfALLOという低輝度アライメント手法を提案する。 10個のデータセットに対する実験結果から、ALLOの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-18T13:34:40Z)
• Label-Efficient Sleep Staging Using Transformers Pre-trained with Position Prediction [2.591936982899312]
  本稿では,特徴と時間的エンコーディングをシームレスに結合するアーキテクチャと,モデル全体を事前訓練する適切な事前学習方式を提案する。 サンプル睡眠ステージングデータセットにおいて,提案手法はラベル付きトレーニングデータに飽和しない性能向上を提供する。
  論文  参考訳（メタデータ） (2024-03-29T23:22:30Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
  我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。 CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。 睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-05-30T08:24:01Z)
• Self-Supervised Mental Disorder Classifiers via Time Reversal [0.0]
  機能的ニューロイメージングデータの時間方向で訓練されたモデルが、下流のタスクに役立つことを実証した。 我々は、独立成分分析(ICA)技術を用いて、fMRIデータから派生した独立成分のディープニューラルネットワークを訓練する。 学習時間方向はfMRIデータにおける因果関係の学習に役立ち、より高速な収束に役立つことを示す。
  論文  参考訳（メタデータ） (2022-11-29T17:24:43Z)
• Continual learning benefits from multiple sleep mechanisms: NREM, REM, and Synaptic Downscaling [51.316408685035526]
  先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。 本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2022-09-09T13:45:27Z)
• Neurochaos Feature Transformation and Classification for Imbalanced Learning [0.0]
  制限付きと不均衡なデータから学ぶことは、人工知能コミュニティでは難しい問題だ。 ヒト脳におけるカオス性神経細胞の発火に触発され、ニューロカオス学習(NL)と呼ばれる新しい学習アルゴリズムが最近提案された。 本稿では,ニューロカオスに基づく特徴変換と従来のMLアルゴリズムを用いた抽出のユニークな組み合わせを提案する。
  論文  参考訳（メタデータ） (2022-04-20T16:11:45Z)
• Variational voxelwise rs-fMRI representation learning: Evaluation of sex, age, and neuropsychiatric signatures [0.0]
  本稿では,Voxelwise rs-fMRIデータに非線形表現学習を適用することを提案する。 非線形表現の学習は変分オートエンコーダ(VAE)を用いて行われる VAEは、voxelwise rs-fMRIデータに基づいて訓練され、意味のある情報を保持する非線形次元還元を行う。
  論文  参考訳（メタデータ） (2021-08-29T05:27:32Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Data Rejuvenation: Exploiting Inactive Training Examples for Neural Machine Translation [86.40610684026262]
  本研究では,モデルの性能に寄与しない非アクティブなトレーニング例を特定する。 非アクティブな例を利用して大規模なデータセット上でのNMTモデルのトレーニングを改善するために、データ再構成を導入する。 WMT14の英語・ドイツ語・英語・フランス語データセットによる実験結果から,提案したデータ再生は一貫して,いくつかの強力なNMTモデルの性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2020-10-06T08:57:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。