Fugu-MT 論文翻訳(概要): A SOM-based Gradient-Free Deep Learning Method with Convergence Analysis

論文の概要: A SOM-based Gradient-Free Deep Learning Method with Convergence Analysis

arxiv url: http://arxiv.org/abs/2101.05612v1
Date: Tue, 12 Jan 2021 09:09:42 GMT
ステータス: 処理完了
システム内更新日: 2021-04-04 09:39:12.298199
Title: A SOM-based Gradient-Free Deep Learning Method with Convergence Analysis
Title（参考訳）: 収束解析を用いたSOMに基づく勾配自由深層学習法
Authors: Shaosheng Xu, Jinde Cao, Yichao Cao, Tong Wang
Abstract要約: 本稿では,新しい勾配フリー深層学習構造を提案する。従来の自己組織化マップに新たなモジュールを追加し、マップに残余を導入することで、Deep Valued Self-Organizing Mapネットワークを構築する。
参考スコア（独自算出の注目度）: 37.66745500131711
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As gradient descent method in deep learning causes a series of questions, this paper proposes a novel gradient-free deep learning structure. By adding a new module into traditional Self-Organizing Map and introducing residual into the map, a Deep Valued Self-Organizing Map network is constructed. And analysis about the convergence performance of such a deep Valued Self-Organizing Map network is proved in this paper, which gives an inequality about the designed parameters with the dimension of inputs and the loss of prediction.
Abstract（参考訳）: 深層学習における勾配降下法は一連の疑問を引き起こすため,新しい勾配フリー深層学習構造を提案する。従来の自己組織化マップに新たなモジュールを追加し、マップに残余を導入することで、Deep Valued Self-Organizing Mapネットワークを構築する。そして,このような深い価値を持つ自己組織化マップネットワークの収束性能に関する解析を行い,入力の次元と予測の損失を考慮に入れた設計パラメータの不平等性について述べる。

関連論文リスト

A Learning Paradigm for Interpretable Gradients [9.074325843851726]
本稿では,解釈可能性向上のための新たな学習手法を提案する。得られた勾配は定性的にノイズが少なく、異なるネットワークの解釈可能性特性を定量的に改善する。
論文参考訳（メタデータ） (2024-04-23T13:32:29Z)
Regularized Gradient Clipping Provably Trains Wide and Deep Neural Networks [0.2302001830524133]
我々は、クリッピング勾配アルゴリズムの正規化形式をインスタンス化し、ディープニューラルネットワーク損失関数の大域的最小値に収束できることを証明する。我々は、我々の理論的に確立された正規化勾配クリッピングアルゴリズムが、最先端のディープラーニングと競合する経験的証拠を提示する。
論文参考訳（メタデータ） (2024-04-12T17:37:42Z)
Structured Gradient-based Interpretations via Norm-Regularized Adversarial Training [18.876749156797935]
勾配に基づくサリエンシマップは、現実のコンピュータビジョンモデルへの応用において、空間性や接続性のような望ましい構造を欠いていることが多い。勾配に基づく正則写像にスパーシティ構造を誘導するためのよく使われるアプローチは、スパーシフィケーションやノルムベースの正則化を用いて単純な勾配スキームを変更することである。そこで本研究では,ニューラルネットワークを単純な勾配マップで学習するプロセス内スキームとして,逆トレーニングを適用することを提案する。
論文参考訳（メタデータ） (2024-04-06T14:49:36Z)
Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
Interpretation of Neural Networks is Susceptible to Universal Adversarial Perturbations [9.054540533394926]
本稿では,標準画像データセットにUniversal Perturbation for Interpretation (UPI)が存在することを示す。本稿では、ニューラルネットワークの勾配に基づく解釈を異なるサンプルで効果的に変更可能な、主成分分析(PCA)に基づくUPI計算手法を提案する。
論文参考訳（メタデータ） (2022-11-30T15:55:40Z)
Analysing Training-Data Leakage from Gradients through Linear Systems and Gradient Matching [8.071506311915396]
グラデーションからのトレーニングデータ漏洩を分析するための新しいフレームワークを提案する。我々は、解析的および最適化に基づく勾配誘導攻撃の両方から洞察を得る。また,勾配に基づく攻撃に対するディープラーニングモデルのセキュリティレベルを測定する指標を提案する。
論文参考訳（メタデータ） (2022-10-20T08:53:20Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient [51.880464915253924]
深層Q-ラーニングアルゴリズムは、過度な分散を伴う勾配推定に苦しむことが多い。本稿では、SRG-DQNと呼ばれる新しいアルゴリズムを実現するため、深層Q-ラーニングにおける勾配推定を更新するためのフレームワークを提案する。
論文参考訳（メタデータ） (2020-07-25T00:54:20Z)
An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文参考訳（メタデータ） (2020-06-19T22:05:19Z)
Understanding Integrated Gradients with SmoothTaylor for Deep Neural Network Attribution [70.78655569298923]
ディープニューラルネットワークモデルの属性方法としての統合グラディエントは、シンプルな実装性を提供する。理解しやすさに影響を及ぼす説明のうるささに悩まされる。 SmoothGrad法は,ノイズ問題を解消し,勾配に基づく帰属法の帰属写像を円滑化するために提案される。
論文参考訳（メタデータ） (2020-04-22T10:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。