Fugu-MT 論文翻訳(概要): Pointwise convergence theorem of gradient descent in sparse deep neural network

論文の概要: Pointwise convergence theorem of gradient descent in sparse deep neural network

arxiv url: http://arxiv.org/abs/2304.08172v2
Date: Wed, 12 Jul 2023 00:32:53 GMT
ステータス: 処理完了
システム内更新日: 2023-07-13 19:28:14.969565
Title: Pointwise convergence theorem of gradient descent in sparse deep neural network
Title（参考訳）: 疎深層ニューラルネットワークにおける勾配降下の点収束定理
Authors: Tsuyoshi Yoneda
Abstract要約: 我々は,ReLU-DNNにおける勾配降下過程によって得られる点収束を誘導するディープニューラルネットワークを構築した。 DNNはスパースと特別な形状を持ち、特定の可変変換を持つ。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The theoretical structure of deep neural network (DNN) has been clarified gradually. Imaizumi-Fukumizu (2019) and Suzuki (2019) clarified that the learning ability of DNN is superior to the previous theories when the target function is non-smooth functions. However, as far as the author is aware, none of the numerous works to date attempted to mathematically investigate what kind of DNN architectures really induce pointwise convergence of gradient descent (without any statistical argument), and this attempt seems to be closer to the practical DNNs. In this paper we restrict target functions to non-smooth indicator functions, and construct a deep neural network inducing pointwise convergence provided by gradient descent process in ReLU-DNN. The DNN has a sparse and a special shape, with certain variable transformations.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)の理論構造は徐々に解明されてきた。今泉福水(2019)と鈴木(2019)は、DNNの学習能力は、対象関数が非滑らかな関数である場合、従来の理論よりも優れていることを示した。しかし、著者が知る限り、これまでの多くの研究は、どの種類のDNNアーキテクチャが実際に(統計的議論なしに)勾配勾配の点収束を誘導するかを数学的に検討することは試みられず、この試みは実際的なDNNに近づいたようである。本稿では、ターゲット関数を非滑らかな指示関数に制限し、ReLU-DNNにおける勾配降下過程によって得られる点収束を誘導するディープニューラルネットワークを構築する。 DNNはスパースと特別な形状を持ち、特定の可変変換を持つ。

関連論文リスト

Rényi entanglement entropy of spin chain with Generative Neural Networks [0.0]
スピン系のR'enyiエンタングルメントエントロピーを推定する手法について述べる。これは、レプリカのトリックと、明確な確率推定を伴う生成ニューラルネットワークに基づいている。一次元量子イジングスピン鎖上での本手法の実証を行う。
論文参考訳（メタデータ） (2024-06-10T11:44:54Z)
Geometric Graph Filters and Neural Networks: Limit Properties and Discriminability Trade-offs [122.06927400759021]
本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
論文参考訳（メタデータ） (2023-05-29T08:27:17Z)
Graph Convolutional Networks from the Perspective of Sheaves and the Neural Tangent Kernel [0.0]
グラフ畳み込みネットワークはディープニューラルネットワークアルゴリズムの一般的なクラスである。その成功にもかかわらず、グラフ畳み込みネットワークには、過度に滑らかな関数やホモ親近性関数の学習へのバイアスなど、多くの特異な特徴がある。せん断畳み込みネットワークのニューラル・タンジェント・カーネルの研究により,このギャップを埋めることを提案する。
論文参考訳（メタデータ） (2022-08-19T12:46:49Z)
Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文参考訳（メタデータ） (2022-06-29T19:03:10Z)
Unified Fourier-based Kernel and Nonlinearity Design for Equivariant Networks on Homogeneous Spaces [52.424621227687894]
等質空間上の群同変ネットワークに対する統一的枠組みを導入する。昇降した特徴場のフーリエ係数の空間性を利用する。安定化部分群におけるフーリエ係数としての特徴を取り扱う他の方法が、我々のアクティベーションの特別な場合であることを示す。
論文参考訳（メタデータ） (2022-06-16T17:59:01Z)
On Connecting Deep Trigonometric Networks with Deep Gaussian Processes: Covariance, Expressivity, and Neural Tangent Kernel [6.599344783327053]
重み空間ビューは以前関数空間で得られたのと同じ有効共分散関数が得られることを示す。トリグネットワークはフレキシブルで表現力があり、重み付けや特徴層においてパラメータに対して異なる事前分布を自由に適用できる。
論文参考訳（メタデータ） (2022-03-14T18:14:59Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data [30.955325548635425]
単層ベイズニューラルネットワークにおける隠れ単位の数が無限大になる傾向があるため、平均場変動推論の下での関数空間後部平均が実際に0に収束することが証明された。これは、ガウス過程に収束する真の後影とは対照的である。
論文参考訳（メタデータ） (2021-06-13T17:36:38Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
Variational Monte Carlo calculations of $\mathbf{A\leq 4}$ nuclei with an artificial neural-network correlator ansatz [62.997667081978825]
光核の基底状態波動関数をモデル化するためのニューラルネットワーク量子状態アンサッツを導入する。我々は、Aleq 4$核の結合エネルギーと点核密度を、上位のピオンレス実効場理論から生じるものとして計算する。
論文参考訳（メタデータ） (2020-07-28T14:52:28Z)
Frequency Bias in Neural Networks for Input of Non-Uniform Density [27.75835200173761]
ニューラル・タンジェント・カーネル(NTK)モデルを用いて、変動密度がトレーニング力学に与える影響を探索する。我々の結果は、Sphered-1$ の点 $x における収束は、時間 $O(kappad/p(x))$ ここで、$p(x)$ は局所密度$x$ を表す。
論文参考訳（メタデータ） (2020-03-10T07:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。