Fugu-MT 論文翻訳(概要): The geometry of the deep linear network

論文の概要: The geometry of the deep linear network

arxiv url: http://arxiv.org/abs/2411.09004v1
Date: Wed, 13 Nov 2024 20:15:50 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-15 15:22:22.889666
Title: The geometry of the deep linear network
Title（参考訳）: 深い線形ネットワークの幾何学
Authors: Govind Menon,
Abstract要約: いくつかの著者による厳密な結果は、深層学習のための熱力学フレームワークに統合される。 DLNと数学の他の分野との関係について、いくつかのオープンな質問とともに議論する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: This article provides an expository account of training dynamics in the Deep Linear Network (DLN) from the perspective of the geometric theory of dynamical systems. Rigorous results by several authors are unified into a thermodynamic framework for deep learning. The analysis begins with a characterization of the invariant manifolds and Riemannian geometry in the DLN. This is followed by exact formulas for a Boltzmann entropy, as well as stochastic gradient descent of free energy using a Riemannian Langevin Equation. Several links between the DLN and other areas of mathematics are discussed, along with some open questions.
Abstract（参考訳）: 本稿では、力学系の幾何学的理論の観点から、Deep Linear Network(DLN)におけるトレーニング力学の例証的説明を提供する。いくつかの著者による厳密な結果は、深層学習のための熱力学フレームワークに統合される。この解析はDLNにおける不変多様体とリーマン幾何学の特徴づけから始まる。これに続いて、ボルツマンエントロピーの正確な公式とリーマンランゲヴィン方程式を用いた自由エネルギーの確率勾配降下が従う。 DLNと数学の他の分野との関係について、いくつかのオープンな質問とともに議論する。

関連論文リスト

A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
本稿ではReLUのような非微分可能活性化関数の事例について検討する。最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。本稿では,画像の分類と熱力学問題に関する数値実験を行った。
論文参考訳（メタデータ） (2024-04-09T08:11:46Z)
A Survey of Geometric Graph Neural Networks: Data Structures, Models and Applications [67.33002207179923]
本稿では、幾何学的GNNに関するデータ構造、モデル、および応用について調査する。幾何学的メッセージパッシングの観点から既存のモデルの統一的なビューを提供する。また、方法論開発と実験評価の後の研究を促進するために、アプリケーションと関連するデータセットを要約する。
論文参考訳（メタデータ） (2024-03-01T12:13:04Z)
A Hitchhiker's Guide to Geometric GNNs for 3D Atomic Systems [87.30652640973317]
原子系の計算モデリングの最近の進歩は、これらを3次元ユークリッド空間のノードとして埋め込まれた原子を含む幾何学的グラフとして表現している。 Geometric Graph Neural Networksは、タンパク質構造予測から分子シミュレーション、物質生成まで、幅広い応用を駆動する機械学習アーキテクチャとして好まれている。本稿では,3次元原子システムのための幾何学的GNNの分野について,包括的で自己完結した概要を述べる。
論文参考訳（メタデータ） (2023-12-12T18:44:19Z)
Physics-informed neural networks for transformed geometries and manifolds [0.0]
本稿では,幾何学的変分を頑健に適合させるために,PINN内に幾何変換を統合する新しい手法を提案する。従来のPINNに対して,特に幾何学的変動下での柔軟性の向上を実証する。提案したフレームワークは、パラメータ化されたジオメトリ上でのディープ・ニューラル演算子のトレーニングの展望を示す。
論文参考訳（メタデータ） (2023-11-27T15:47:33Z)
Adaptive Log-Euclidean Metrics for SPD Matrix Learning [73.12655932115881]
広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
論文参考訳（メタデータ） (2023-03-26T18:31:52Z)
Deep Linear Networks for Matrix Completion -- An Infinite Depth Limit [10.64241024049424]
深層線形ネットワーク (DLN) は、過度にパラメータ化された学習アーキテクチャの勾配に基づく最適化における暗黙の正規化のためのモデルである。厳密な解析と数値による行列完成のための幾何幾何学とトレーニングの関連について検討する。暗黙の正則化は高状態空間体積に対する偏りの結果である。
論文参考訳（メタデータ） (2022-10-22T17:03:10Z)
Thermodynamics-informed graph neural networks [0.09332987715848712]
幾何的および熱力学的帰納バイアスを用いて、結果の積分スキームの精度と一般化を改善することを提案する。 1つ目は、非ユークリッド幾何学的事前および置換不変ノードとエッジ更新関数を誘導するグラフニューラルネットワークである。第2のバイアスは、より一般的な非保守的力学をモデル化するために、ハミルトン形式論の拡張である問題のジェネリック構造を学ぶことで強制される。
論文参考訳（メタデータ） (2022-03-03T17:30:44Z)
A singular Riemannian geometry approach to Deep Neural Networks I. Theoretical foundations [77.86290991564829]
ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
論文参考訳（メタデータ） (2021-12-17T11:43:30Z)
A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
論文参考訳（メタデータ） (2021-05-06T17:36:55Z)
Symplectic Geometric Methods for Matrix Differential Equations Arising from Inertial Navigation Problems [3.94183940327189]
本稿では、力学系の幾何的および代数的性質について考察する。これはシンプレクティック幾何アルゴリズムの応用分野を偶次元ハミルトニアン系から奇次元力学系へと拡張する。
論文参考訳（メタデータ） (2020-02-11T11:08:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。