Fugu-MT 論文翻訳(概要): Convergence of gradient flow for learning convolutional neural networks

論文の概要: Convergence of gradient flow for learning convolutional neural networks

arxiv url: http://arxiv.org/abs/2601.08547v1
Date: Tue, 13 Jan 2026 13:33:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-14 18:27:19.215837
Title: Convergence of gradient flow for learning convolutional neural networks
Title（参考訳）: 畳み込みニューラルネットワーク学習のための勾配流の収束
Authors: Jona-Maria Diederen, Holger Rauhut, Ulrich Terstiege,
Abstract要約: 円錐神経ネットワークは画像認識や画像認識に広く利用されている。勾配流は勾配降下の抽象化として解釈されることを示す。
参考スコア（独自算出の注目度）: 3.2960978424288463
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Convolutional neural networks are widely used in imaging and image recognition. Learning such networks from training data leads to the minimization of a non-convex function. This makes the analysis of standard optimization methods such as variants of (stochastic) gradient descent challenging. In this article we study the simplified setting of linear convolutional networks. We show that the gradient flow (to be interpreted as an abstraction of gradient descent) applied to the empirical risk defined via certain loss functions including the square loss always converges to a critical point, under a mild condition on the training data.
Abstract（参考訳）: 畳み込みニューラルネットワークは画像認識や画像認識に広く利用されている。トレーニングデータからそのようなネットワークを学習すると、非凸関数の最小化につながる。これにより、(確率的な)勾配勾配の変種のような標準最適化手法の解析が困難になる。本稿では,線形畳み込みネットワークの簡易設定について考察する。学習データ上の軽度条件下では,正方形損失を含む特定の損失関数によって定義される経験的リスクに対して,勾配流が常に臨界点に収束することを示す。

関連論文リスト

Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
論文参考訳（メタデータ） (2023-10-29T08:47:48Z)
Implicit regularization of deep residual networks towards neural ODEs [8.075122862553359]
我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
論文参考訳（メタデータ） (2023-09-03T16:35:59Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Gradient flow dynamics of shallow ReLU networks for square loss and orthogonal inputs [19.401271427657395]
勾配降下法によるニューラルネットワークの訓練は、ディープラーニング革命の基盤となっている。本稿では,1つのニューラルネットワークの小さな初期化における平均二乗誤差に対する勾配流のダイナミクスについて述べる。
論文参考訳（メタデータ） (2022-06-02T09:01:25Z)
Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
論文参考訳（メタデータ） (2021-11-27T12:12:57Z)
Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。我々はこれらの現象を具体的原理で補うと推測する。
論文参考訳（メタデータ） (2021-03-16T16:26:36Z)
Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
論文参考訳（メタデータ） (2020-05-07T15:57:25Z)
Implicit Geometric Regularization for Learning Shapes [34.052738965233445]
生データから直接高忠実度暗黙的ニューラル表現を計算するための新しいパラダイムを提供する。提案手法は,従来の手法と比較して,高い精度と忠実度を有する暗黙的ニューラル表現の状態を導出することを示す。
論文参考訳（メタデータ） (2020-02-24T07:36:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。