論文の概要: The Riemannian Geometry associated to Gradient Flows of Linear Convolutional Networks

• arxiv url: http://arxiv.org/abs/2507.06367v1
• Date: Tue, 08 Jul 2025 20:04:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.378582
• Title: The Riemannian Geometry associated to Gradient Flows of Linear Convolutional Networks
• Title（参考訳）: 線形畳み込みネットワークの勾配流れに付随するリーマン幾何学
• Authors: El Mehdi Achour, Kathlén Kohn, Holger Rauhut,
• Abstract要約: 線形畳み込みネットワークを学習するための勾配流の幾何学的性質について検討する。 $D geq 2$ の畳み込みと$D = 1$ の畳み込みの場合、畳み込みのいわゆる歩みが 1 より大きい場合、それは成り立つ。
• 参考スコア（独自算出の注目度）: 4.898188452239539
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study geometric properties of the gradient flow for learning deep linear convolutional networks. For linear fully connected networks, it has been shown recently that the corresponding gradient flow on parameter space can be written as a Riemannian gradient flow on function space (i.e., on the product of weight matrices) if the initialization satisfies a so-called balancedness condition. We establish that the gradient flow on parameter space for learning linear convolutional networks can be written as a Riemannian gradient flow on function space regardless of the initialization. This result holds for $D$-dimensional convolutions with $D \geq 2$, and for $D =1$ it holds if all so-called strides of the convolutions are greater than one. The corresponding Riemannian metric depends on the initialization.
• Abstract（参考訳）: 線形畳み込みネットワークを学習するための勾配流の幾何学的性質について検討する。 線型完全連結ネットワークの場合、初期化がいわゆる均衡性条件を満たす場合、パラメータ空間上の対応する勾配フローは函数空間上のリーマン勾配フロー(すなわち重み行列の積)として記述できることが最近示されている。 線形畳み込みネットワークを学習するためのパラメータ空間上の勾配フローは、初期化によらず関数空間上のリーマン勾配フローと書くことができる。 この結果は$D$ 次元の畳み込みに対して$D \geq 2$ であり、$D = 1$ の場合、畳み込みのいわゆる歩みが 1 より大きいときに成り立つ。 対応するリーマン計量は初期化に依存する。

関連論文リスト

• Gradient flow in parameter space is equivalent to linear interpolation in output space [1.189367612437469]
  深層学習における多くの学習アルゴリズムの基盤となるパラメータ空間の標準流れは、適応的な勾配流に連続的に変形可能であることを証明した。 L2$損失の場合、パラメータに関する出力のヤコビアンがフルランクであれば、時間変数は単純に線形となるように再パラメータ化できる。 クロスエントロピー損失の場合、同じランク条件の下でラベルが正の成分を持つと仮定すると、一意な大域最小値に対する明示的な公式が導出される。
  論文  参考訳（メタデータ） (2024-08-02T18:23:17Z)
• Global $\mathcal{L}^2$ minimization at uniform exponential rate via geometrically adapted gradient descent in Deep Learning [1.4050802766699084]
  本稿では,ディープラーニング(DL)ネットワークにおける教師あり学習のシナリオについて考察する。 DLネットワークの出力層におけるユークリッド計量に対する勾配流を選択する。
  論文  参考訳（メタデータ） (2023-11-27T02:12:02Z)
• On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
  高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
  論文  参考訳（メタデータ） (2023-10-30T17:55:28Z)
• Deep Linear Networks for Matrix Completion -- An Infinite Depth Limit [10.64241024049424]
  深層線形ネットワーク (DLN) は、過度にパラメータ化された学習アーキテクチャの勾配に基づく最適化における暗黙の正規化のためのモデルである。 厳密な解析と数値による行列完成のための幾何幾何学とトレーニングの関連について検討する。 暗黙の正則化は高状態空間体積に対する偏りの結果である。
  論文  参考訳（メタデータ） (2022-10-22T17:03:10Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Deep Learning Approximation of Diffeomorphisms via Linear-Control Systems [91.3755431537592]
  我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。 対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
  論文  参考訳（メタデータ） (2021-10-24T08:57:46Z)
• Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
  画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。 この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
  論文  参考訳（メタデータ） (2021-08-02T13:38:09Z)
• A Unifying View on Implicit Bias in Training Linear Neural Networks [31.65006970108761]
  線形ニューラルネットワークトレーニングにおける勾配流(無限小ステップサイズの勾配勾配勾配勾配)の暗黙バイアスについて検討する。 本稿では, ニューラルネットワークのテンソルの定式化について検討し, 完全連結型, 対角型, 畳み込み型ネットワークを特殊な場合として提案する。
  論文  参考訳（メタデータ） (2020-10-06T06:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。