論文の概要: Addressing Spectral Bias of Deep Neural Networks by Multi-Grade Deep Learning

• arxiv url: http://arxiv.org/abs/2410.16105v1
• Date: Mon, 21 Oct 2024 15:34:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:08.182902
• Title: Addressing Spectral Bias of Deep Neural Networks by Multi-Grade Deep Learning
• Title（参考訳）: マルチグレード深層学習によるディープニューラルネットワークのスペクトルバイアス対応
• Authors: Ronglong Fang, Yuesheng Xu,
• Abstract要約: ディープニューラルネットワーク(DNN)は、関数の低周波成分の学習を優先し、その高周波の特徴を捉えるのに苦労する傾向を示す。 本稿では、複数のSNNを構成することで高周波成分を含む関数を学習し、それぞれが与えられたデータから特定の低周波情報を学ぶことを提案する。 本研究は,MGDLが高周波情報を含む機能に優れていることを明らかにする。
• 参考スコア（独自算出の注目度）: 3.0468273116892752
• License:
• Abstract: Deep neural networks (DNNs) suffer from the spectral bias, wherein DNNs typically exhibit a tendency to prioritize the learning of lower-frequency components of a function, struggling to capture its high-frequency features. This paper is to address this issue. Notice that a function having only low frequency components may be well-represented by a shallow neural network (SNN), a network having only a few layers. By observing that composition of low frequency functions can effectively approximate a high-frequency function, we propose to learn a function containing high-frequency components by composing several SNNs, each of which learns certain low-frequency information from the given data. We implement the proposed idea by exploiting the multi-grade deep learning (MGDL) model, a recently introduced model that trains a DNN incrementally, grade by grade, a current grade learning from the residue of the previous grade only an SNN composed with the SNNs trained in the preceding grades as features. We apply MGDL to synthetic, manifold, colored images, and MNIST datasets, all characterized by presence of high-frequency features. Our study reveals that MGDL excels at representing functions containing high-frequency information. Specifically, the neural networks learned in each grade adeptly capture some low-frequency information, allowing their compositions with SNNs learned in the previous grades effectively representing the high-frequency features. Our experimental results underscore the efficacy of MGDL in addressing the spectral bias inherent in DNNs. By leveraging MGDL, we offer insights into overcoming spectral bias limitation of DNNs, thereby enhancing the performance and applicability of deep learning models in tasks requiring the representation of high-frequency information. This study confirms that the proposed method offers a promising solution to address the spectral bias of DNNs.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)はスペクトルバイアスに悩まされ、DNNは通常、関数の低周波成分の学習を優先し、その高周波の特徴を捉えるのに苦労する傾向を示す。 この論文はこの問題に対処する。 低周波成分しか持たない関数は、わずか数層しか持たないネットワークである浅いニューラルネットワーク(SNN)によってうまく表現される可能性がある。 低周波関数の合成が高周波関数を効果的に近似できることを観察することにより、複数のSNNを構成することで、高周波成分を含む関数を学習し、与えられたデータから特定の低周波情報を学習することを提案する。 提案手法は,DNNを段階的に段階的に訓練する多段階深層学習モデルMGDL(Multi-grade Deep Learning)モデルを用いて実現されている。 我々はMGDLを合成、多様体、色付き画像、MNISTデータセットに適用する。 本研究は,MGDLが高周波情報を含む機能に優れていることを明らかにする。 具体的には、各グレードで学習したニューラルネットワークは、いくつかの低周波情報を順応的にキャプチャし、前のグレードで学習したSNNで合成することで、高周波の特徴を効果的に表現することができる。 DNNのスペクトルバイアスに対するMGDLの有効性を実験的に評価した。 MGDLを活用することで、DNNのスペクトルバイアス制限を克服し、高周波情報表現を必要とするタスクにおけるディープラーニングモデルの性能と適用性を高めることができる。 本研究は,提案手法がDNNのスペクトルバイアスに対処するための有望な解であることを確認した。

関連論文リスト

• A Hierarchical Fused Quantum Fuzzy Neural Network for Image Classification [8.7057403071943]
  我々は新しい階層型融合量子ファジィニューラルネットワーク(HQFNN)を提案した。 HQFNNは量子ニューラルネットワークを使用してファジィニューラルネットワークのファジィメンバシップ関数を学習する。 その結果,提案手法は既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-03-14T12:09:36Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
  構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。 この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
  論文  参考訳（メタデータ） (2023-04-13T16:58:21Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• SAR Image Classification Based on Spiking Neural Network through Spike-Time Dependent Plasticity and Gradient Descent [7.106664778883502]
  スパイキングニューラルネットワーク(SNN)は、脳のような知能のコアコンポーネントの1つである。 本稿では、教師なしおよび教師なし学習SNNに基づいて、完全なSAR画像を構築する。
  論文  参考訳（メタデータ） (2021-06-15T09:36:04Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Block-term Tensor Neural Networks [29.442026567710435]
  ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。 CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
  論文  参考訳（メタデータ） (2020-10-10T09:58:43Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。