Fugu-MT 論文翻訳(概要): Statistically guided deep learning

論文の概要: Statistically guided deep learning

arxiv url: http://arxiv.org/abs/2504.08489v1
Date: Fri, 11 Apr 2025 12:36:06 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-14 14:19:40.386553
Title: Statistically guided deep learning
Title（参考訳）: 統計的指導による深層学習
Authors: Michael Kohler, Adam Krzyzak,
Abstract要約: 非パラメトリック回帰のための理論的に確立されたディープラーニングアルゴリズムを提案する。本研究では、最適化、一般化、近似を同時に考慮したディープラーニングの理論解析により、新たなディープラーニング推定結果が得られることを示す。
参考スコア（独自算出の注目度）: 10.619901778151336
License:
Abstract: We present a theoretically well-founded deep learning algorithm for nonparametric regression. It uses over-parametrized deep neural networks with logistic activation function, which are fitted to the given data via gradient descent. We propose a special topology of these networks, a special random initialization of the weights, and a data-dependent choice of the learning rate and the number of gradient descent steps. We prove a theoretical bound on the expected $L_2$ error of this estimate, and illustrate its finite sample size performance by applying it to simulated data. Our results show that a theoretical analysis of deep learning which takes into account simultaneously optimization, generalization and approximation can result in a new deep learning estimate which has an improved finite sample performance.
Abstract（参考訳）: 非パラメトリック回帰のための理論的に確立されたディープラーニングアルゴリズムを提案する。対数的アクティベーション機能を備えた過度にパラメータ化されたディープニューラルネットワークを使用し、勾配降下によって所定のデータに適合する。本稿では,これらのネットワークの特殊トポロジ,重みの特殊ランダム初期化,学習速度と勾配降下段数のデータ依存的選択を提案する。この推定値の期待値である$L_2$誤差に理論的拘束力があることを証明し、シミュレーションデータに適用することにより、その有限サンプルサイズ性能を示す。この結果から,最適化,一般化,近似を同時に考慮した深層学習の理論解析により,有限標本性能が向上した新たな深層学習推定結果が得られた。

関連論文リスト

Optimization Insights into Deep Diagonal Linear Networks [10.395029724463672]
直交ニューラルネットワークのパラメータを推定するための勾配流"アルゴリズム"の暗黙的正規化特性について検討した。我々の主な貢献は、この勾配流がモデル上のミラーフローを動的に誘導することであり、これは問題の特定の解に偏っていることを意味する。
論文参考訳（メタデータ） (2024-12-21T20:23:47Z)
Understanding Forgetting in Continual Learning with Linear Regression [21.8755265936716]
連続的な学習は、複数のタスクを逐次学習することに焦点を当てており、近年大きな注目を集めている。線形回帰モデルにおいて, 線形回帰モデルをグラディエント・ディッセンス(Gradient Descent)を用いて, 忘れることの一般的な理論的解析を行う。十分なデータサイズを考慮に入れれば、集団データ共分散行列の固有値が大きいタスクが後で訓練されるようなシーケンス内のタスクの配置は、忘れが増す傾向にあることを実証する。
論文参考訳（メタデータ） (2024-05-27T18:33:37Z)
Semi-Supervised Deep Sobolev Regression: Estimation and Variable Selection by ReQU Neural Network [3.4623717820849476]
本研究では、下層の回帰関数とその勾配の非パラメトリック推定のための半教師付きディープソボレフ回帰器SDOREを提案する。我々の研究は、SDOREの収束速度を$L2$-normで徹底的に分析し、ミニマックス最適性を達成することを含む。
論文参考訳（メタデータ） (2024-01-09T13:10:30Z)
Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
論文参考訳（メタデータ） (2023-07-06T15:19:53Z)
Neural Posterior Estimation with Differentiable Simulators [58.720142291102135]
微分可能シミュレータを用いてニューラル・ポストミラー推定(NPE)を行う新しい手法を提案する。勾配情報が後部形状の制約にどのように役立ち、試料効率を向上させるかを示す。
論文参考訳（メタデータ） (2022-07-12T16:08:04Z)
Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-05-06T13:18:31Z)
Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文参考訳（メタデータ） (2021-12-04T18:07:47Z)
Universal scaling laws in the gradient descent training of neural networks [10.508187462682308]
学習軌跡は,大きな訓練時間に明示的な境界によって特徴づけられることを示す。結果は,期待される損失に基づいて訓練された大規模ネットワークの進化のスペクトル解析に基づいている。
論文参考訳（メタデータ） (2021-05-02T16:46:38Z)
Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文参考訳（メタデータ） (2021-03-09T14:51:34Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)
Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。