論文の概要: Weight Freezing: A Regularization Approach for Fully Connected Layers with an Application in EEG Classification

• arxiv url: http://arxiv.org/abs/2306.05775v1
• Date: Fri, 9 Jun 2023 09:33:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 13:59:06.855520
• Title: Weight Freezing: A Regularization Approach for Fully Connected Layers with an Application in EEG Classification
• Title（参考訳）: 重み凍結:脳波分類における応用による完全連結層に対する正則化アプローチ
• Authors: Zhengqing Miao and Meirong Zhao
• Abstract要約: この研究は、ANN正則化と神経科学の事前知識の原理に根ざした「軽量凍結」と呼ばれる新しいアプローチを導入する。 ウェイトフリーズの概念は、バックプロパゲーションプロセス中に完全に連結された層内の特定の重みを凍結することにより、特定のEEGタスクの意思決定プロセスに対する特定のニューロンの影響を減少させるという考え方を中心に展開される。 本研究は,脳波特徴分類タスクにおいて,従来の完全連結ネットワークと比較して,体重凍結効果が優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the realm of EEG decoding, enhancing the performance of artificial neural networks (ANNs) carries significant potential. This study introduces a novel approach, termed "weight freezing", that is anchored on the principles of ANN regularization and neuroscience prior knowledge. The concept of weight freezing revolves around the idea of reducing certain neurons' influence on the decision-making process for a specific EEG task by freezing specific weights in the fully connected layer during the backpropagation process. This is actualized through the use of a mask matrix and a threshold to determine the proportion of weights to be frozen during backpropagation. Moreover, by setting the masked weights to zero, weight freezing can not only realize sparse connections in networks with a fully connected layer as the classifier but also function as an efficacious regularization method for fully connected layers. Through experiments involving three distinct ANN architectures and three widely recognized EEG datasets, we validate the potency of weight freezing. Our method significantly surpasses previous peak performances in classification accuracy across all examined datasets. Supplementary control experiments offer insights into performance differences pre and post weight freezing implementation and scrutinize the influence of the threshold in the weight freezing process. Our study underscores the superior efficacy of weight freezing compared to traditional fully connected networks for EEG feature classification tasks. With its proven effectiveness, this innovative approach holds substantial promise for contributing to future strides in EEG decoding research.
• Abstract（参考訳）: 脳波デコーディングの分野では、人工知能ニューラルネットワーク(ANN)の性能向上が大きな可能性を秘めている。 この研究は、ANN正則化と神経科学の事前知識の原理に根ざした「軽量凍結」と呼ばれる新しいアプローチを導入する。 重み凍結の概念は、バックプロパゲーションの過程において、全連結層内の特定の重みを凍結することにより、特定の脳波タスクの意思決定プロセスに対するニューロンの影響を減少させるという考えに基づいている。 これはマスクマトリクスと閾値を使用して、バックプロパゲーション中に凍結すべき重量の比率を決定することで実現される。 さらに,マスク付き重みをゼロにすることで,全連結層を分類器とするネットワークにおける疎結合を実現するだけでなく,全連結層の効率的な正規化手法としても機能する。 3つの異なるANNアーキテクチャと3つの広く認識されているEEGデータセットを含む実験を通して、重量凍結の有効性を検証する。 本手法は,全データセットの分類精度において,過去のピーク性能を大幅に上回っている。 補足的制御実験は, 重量凍結前後の性能差に関する知見を提供し, 重量凍結過程における閾値の影響を検証した。 本研究は,脳波特徴分類タスクにおける従来の完全連結ネットワークと比較して,重み凍結の優れた効果を強調する。 その効果が証明されたことにより、この革新的なアプローチは、脳波デコード研究における将来の進歩に寄与する大きな可能性を秘めている。

関連論文リスト

• Effective Non-Random Extreme Learning Machine [0.0]
  本稿では、回帰タスクのための新しい拡張学習アルゴリズム、Effective Non-Random ELM(ENR-ELM)を提案する。 提案手法は,基本関数や投影などの信号処理の概念をEMMフレームワークに組み込む。 合成データと実データの両方を用いた実験結果から,本手法は従来のEMMの課題を克服し,比較可能な予測性能を維持していることが示された。
  論文  参考訳（メタデータ） (2024-11-25T09:42:42Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning [0.0]
  本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。 我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2022-08-11T07:13:59Z)
• Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
  非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。 まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。 ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
  論文  参考訳（メタデータ） (2022-08-08T19:11:03Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。