論文の概要: A SOM-based Gradient-Free Deep Learning Method with Convergence Analysis
- arxiv url: http://arxiv.org/abs/2101.05612v1
- Date: Tue, 12 Jan 2021 09:09:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-04 09:39:12.298199
- Title: A SOM-based Gradient-Free Deep Learning Method with Convergence Analysis
- Title(参考訳): 収束解析を用いたSOMに基づく勾配自由深層学習法
- Authors: Shaosheng Xu, Jinde Cao, Yichao Cao, Tong Wang
- Abstract要約: 本稿では,新しい勾配フリー深層学習構造を提案する。
従来の自己組織化マップに新たなモジュールを追加し、マップに残余を導入することで、Deep Valued Self-Organizing Mapネットワークを構築する。
- 参考スコア(独自算出の注目度): 37.66745500131711
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As gradient descent method in deep learning causes a series of questions,
this paper proposes a novel gradient-free deep learning structure. By adding a
new module into traditional Self-Organizing Map and introducing residual into
the map, a Deep Valued Self-Organizing Map network is constructed. And analysis
about the convergence performance of such a deep Valued Self-Organizing Map
network is proved in this paper, which gives an inequality about the designed
parameters with the dimension of inputs and the loss of prediction.
- Abstract(参考訳): 深層学習における勾配降下法は一連の疑問を引き起こすため,新しい勾配フリー深層学習構造を提案する。
従来の自己組織化マップに新たなモジュールを追加し、マップに残余を導入することで、Deep Valued Self-Organizing Mapネットワークを構築する。
そして,このような深い価値を持つ自己組織化マップネットワークの収束性能に関する解析を行い,入力の次元と予測の損失を考慮に入れた設計パラメータの不平等性について述べる。
関連論文リスト
- Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳(メタデータ) (2023-03-05T17:57:33Z) - Interpretation of Neural Networks is Susceptible to Universal
Adversarial Perturbations [12.691047660244331]
本稿では,標準画像データセットにUniversal Perturbation for Interpretation (UPI)が存在することを示す。
本稿では、ニューラルネットワークの勾配に基づく解釈を異なるサンプルで効果的に変更可能な、主成分分析(PCA)に基づくUPI計算手法を提案する。
論文 参考訳(メタデータ) (2022-11-30T15:55:40Z) - Analysing Training-Data Leakage from Gradients through Linear Systems
and Gradient Matching [8.071506311915396]
グラデーションからのトレーニングデータ漏洩を分析するための新しいフレームワークを提案する。
我々は、解析的および最適化に基づく勾配誘導攻撃の両方から洞察を得る。
また,勾配に基づく攻撃に対するディープラーニングモデルのセキュリティレベルを測定する指標を提案する。
論文 参考訳(メタデータ) (2022-10-20T08:53:20Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - On the Subspace Structure of Gradient-Based Meta-Learning [18.47031601065446]
本稿では,GBML(Gradient-Based Meta-Learning)手法の適応後パラメータの分布分析を行う。
本稿では,タスク空間と同じ次元の低次元円形空間上で,パラメータが更新されるというより一般的な概念を提案する。
論文 参考訳(メタデータ) (2022-07-08T10:19:15Z) - Mapping Emulation for Knowledge Distillation [94.20630785525732]
本稿では,フェデレーション学習に不可欠なソース・ブラインド知識蒸留問題の定式化を行う。
新しいアーキテクチャMEKDを提案する。
様々なベンチマークにおいて、MEKDは既存のソースブレンドKD法より優れている。
論文 参考訳(メタデータ) (2022-05-21T02:38:16Z) - Integrated Grad-CAM: Sensitivity-Aware Visual Explanation of Deep
Convolutional Networks via Integrated Gradient-Based Scoring [26.434705114982584]
Grad-CAMは、モデルから得られたアクティベーションマップを組み合わせて視覚化する一般的なソリューションである。
Grad-CAMのグラデーションベース項のパス積分を計算することで、この問題に取り組むソリューションを紹介します。
CNNの予測のために抽出された表現の重要性を計測する手法で達成した改善を徹底した分析を行います。
論文 参考訳(メタデータ) (2021-02-15T19:21:46Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z) - Understanding Integrated Gradients with SmoothTaylor for Deep Neural
Network Attribution [70.78655569298923]
ディープニューラルネットワークモデルの属性方法としての統合グラディエントは、シンプルな実装性を提供する。
理解しやすさに影響を及ぼす説明のうるささに悩まされる。
SmoothGrad法は,ノイズ問題を解消し,勾配に基づく帰属法の帰属写像を円滑化するために提案される。
論文 参考訳(メタデータ) (2020-04-22T10:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。