論文の概要: Are Sparse Neural Networks Better Hard Sample Learners?
- arxiv url: http://arxiv.org/abs/2409.09196v2
- Date: Fri, 27 Dec 2024 11:41:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:23:08.356679
- Title: Are Sparse Neural Networks Better Hard Sample Learners?
- Title(参考訳): スパースニューラルネットワークはハードサンプル学習者より優れているか?
- Authors: Qiao Xiao, Boqian Wu, Lu Yin, Christopher Neil Gadzinski, Tianjin Huang, Mykola Pechenizkiy, Decebal Constantin Mocanu,
- Abstract要約: ディープニューラルネットワークの最適性能において、ハードサンプルは重要な役割を果たす。
挑戦的なサンプルに基づいてトレーニングされたほとんどのSNNは、特定の間隔レベルで精度の高いモデルにマッチしたり、超えたりすることができる。
- 参考スコア(独自算出の注目度): 24.2141078613549
- License:
- Abstract: While deep learning has demonstrated impressive progress, it remains a daunting challenge to learn from hard samples as these samples are usually noisy and intricate. These hard samples play a crucial role in the optimal performance of deep neural networks. Most research on Sparse Neural Networks (SNNs) has focused on standard training data, leaving gaps in understanding their effectiveness on complex and challenging data. This paper's extensive investigation across scenarios reveals that most SNNs trained on challenging samples can often match or surpass dense models in accuracy at certain sparsity levels, especially with limited data. We observe that layer-wise density ratios tend to play an important role in SNN performance, particularly for methods that train from scratch without pre-trained initialization. These insights enhance our understanding of SNNs' behavior and potential for efficient learning approaches in data-centric AI. Our code is publicly available at: \url{https://github.com/QiaoXiao7282/hard_sample_learners}.
- Abstract(参考訳): 深層学習は目覚ましい進歩を見せていますが、これらのサンプルは通常騒々しく複雑なので、硬いサンプルから学ぶのは大変な課題です。
これらのハードサンプルは、ディープニューラルネットワークの最適性能において重要な役割を果たす。
スパースニューラルネットワーク(SNN)に関するほとんどの研究は、標準的なトレーニングデータに重点を置いており、複雑で困難なデータに対するその有効性を理解するためのギャップを残している。
本稿では,難解なサンプルに基づいてトレーニングされたほとんどのSNNが,特定の空間レベルでの精度で,特に限られたデータと一致したり,あるいは超えたりすることができることを示す。
我々は,SNNの性能において,特に初期化を事前訓練せずにスクラッチからトレーニングする手法において,層単位での密度比が重要な役割を担っていることを観察した。
これらの洞察は、データ中心AIにおけるSNNの行動の理解と効率的な学習アプローチの可能性を高める。
我々のコードは以下で公開されている。 \url{https://github.com/QiaoXiao7282/hard_sample_learners}。
関連論文リスト
- Curriculum Learning for Graph Neural Networks: Which Edges Should We
Learn First [13.37867275976255]
本研究は, 難易度から難易度, 難易度に応じて, より多くのエッジをトレーニングに組み込む新しい戦略を提案する。
提案手法の強みは,学習した表現の一般化能力とロバスト性の向上である。
論文 参考訳(メタデータ) (2023-10-28T15:35:34Z) - Learning Spiking Neural Network from Easy to Hard task [1.9559989943764062]
スパイキングニューラルネットワーク(SNN)は、人間が情報を処理する方法を模倣することを目的としている。
現在のSNNモデルは、すべてのサンプルを平等に扱うが、それは人間の学習の原則と一致しない。
本稿では,SNNにカリキュラム学習を導入するCL-SNNモデルを提案する。
論文 参考訳(メタデータ) (2023-09-09T09:46:32Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳(メタデータ) (2023-02-06T16:54:20Z) - Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。
これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。
本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
論文 参考訳(メタデータ) (2022-02-15T06:42:25Z) - Iterative Pseudo-Labeling with Deep Feature Annotation and
Confidence-Based Sampling [127.46527972920383]
大規模で注釈付きデータセットが利用できない場合には、ディープニューラルネットワークのトレーニングは難しい。
我々は、最も確実な教師なしサンプルを選択して、深層ニューラルネットワークを反復的に訓練することで、最近の反復的擬似ラベル技術であるDeep Featureを改善した。
まず最初に、自己学習されたディープニューラルネットワークであるベースラインの最適な設定を確認し、異なる信頼しきい値に対してDeepFAを評価する。
論文 参考訳(メタデータ) (2021-09-06T20:02:13Z) - SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。
textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
論文 参考訳(メタデータ) (2021-05-13T21:34:55Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳(メタデータ) (2021-02-17T18:59:28Z) - Deep Time Delay Neural Network for Speech Enhancement with Full Data
Learning [60.20150317299749]
本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。
トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
論文 参考訳(メタデータ) (2020-11-11T06:32:37Z) - Self-Competitive Neural Networks [0.0]
ディープニューラルネットワーク(DNN)は、多くのアプリケーションにおける分類問題の精度を改善している。
DNNをトレーニングする際の課題の1つは、その正確性を高め、過度な適合に苦しむことを避けるために、豊富なデータセットによって供給される必要があることである。
近年,データ拡張手法の提案が盛んに行われている。
本稿では,各クラスのドメイン・オブ・アトラクション(DoAs)を洗練させるために,逆データを生成します。このアプローチでは,各段階において,プライマリデータと生成された逆データ(その段階まで)から学習したモデルを用いて,プライマリデータを複雑な方法で操作する。
論文 参考訳(メタデータ) (2020-08-22T12:28:35Z) - Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。
しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。
本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文 参考訳(メタデータ) (2020-07-01T04:48:49Z) - Self-supervised Learning on Graphs: Deep Insights and New Direction [66.78374374440467]
自己教師付き学習(SSL)は、ラベルのないデータにドメイン固有のプレテキストタスクを作成することを目的としている。
グラフニューラルネットワーク(GNN)の形でのグラフ領域へのディープラーニングの一般化への関心が高まっている。
論文 参考訳(メタデータ) (2020-06-17T20:30:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。