論文の概要: A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes
- arxiv url: http://arxiv.org/abs/2404.06104v1
- Date: Tue, 9 Apr 2024 08:11:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 15:29:31.363256
- Title: A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes
- Title(参考訳): ディープニューラルネットワークに対する特異リーマン幾何学的アプローチIII.$n$次元のクラス上での微分可能な層とランダムウォーク
- Authors: Alessandro Benfenati, Alessio Marta,
- Abstract要約: 本稿ではReLUのような非微分可能活性化関数の事例について検討する。
最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。
本稿では,画像の分類と熱力学問題に関する数値実験を行った。
- 参考スコア(独自算出の注目度): 49.32130498861987
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks are playing a crucial role in everyday life, with the most modern generative models able to achieve impressive results. Nonetheless, their functioning is still not very clear, and several strategies have been adopted to study how and why these model reach their outputs. A common approach is to consider the data in an Euclidean settings: recent years has witnessed instead a shift from this paradigm, moving thus to more general framework, namely Riemannian Geometry. Two recent works introduced a geometric framework to study neural networks making use of singular Riemannian metrics. In this paper we extend these results to convolutional, residual and recursive neural networks, studying also the case of non-differentiable activation functions, such as ReLU. We illustrate our findings with some numerical experiments on classification of images and thermodynamic problems.
- Abstract(参考訳): ニューラルネットワークは日常生活において重要な役割を演じており、最も現代的な生成モデルは印象的な結果を得ることができる。
それでも、それらの機能はあまり明確ではなく、これらのモデルが出力に達する方法と理由を研究するためにいくつかの戦略が採用されている。
近年では、このパラダイムから、より一般的なフレームワーク、すなわちリーマン幾何学へと移行している。
最近の2つの研究は、特異リーマン計量を用いてニューラルネットワークを研究する幾何学的枠組みを導入した。
本稿では、これらの結果を畳み込み、残留、再帰的なニューラルネットワークに拡張し、ReLUのような非微分可能活性化関数についても検討する。
本稿では,画像の分類と熱力学問題に関する数値実験を行った。
関連論文リスト
- A Survey on Statistical Theory of Deep Learning: Approximation, Training
Dynamics, and Generative Models [15.692437265063342]
本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。
ニューラルネットワークの過剰なリスクに関する結果は、回帰または分類の非パラメトリックフレームワークでレビューされる。
本稿では、GAN(Generative Adversarial Networks)、拡散モデル、Large Language Models(LLMs)におけるICL(In-context Learning)などの生成モデルにおける最新の理論的進歩について概説する。
論文 参考訳(メタデータ) (2024-01-14T02:30:19Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳(メタデータ) (2023-10-16T02:12:32Z) - Metric Space Magnitude and Generalisation in Neural Networks [12.110483221042903]
この研究は、マグニチュードと呼ばれる新しい位相不変量のレンズを通して、ディープニューラルネットワークの学習過程を定量化する。
本研究では,ニューラルネットワークの内部表現の研究に規模を用い,その一般化能力を決定するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-05-09T17:04:50Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳(メタデータ) (2022-03-30T21:47:32Z) - A singular Riemannian geometry approach to Deep Neural Networks I.
Theoretical foundations [77.86290991564829]
ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。
我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。
このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
論文 参考訳(メタデータ) (2021-12-17T11:43:30Z) - Hybrid neural network reduced order modelling for turbulent flows with
geometric parameters [0.0]
本稿では,幾何的パラメータ化不可能な乱流Navier-Stokes問題の解法として,古典的ガレルキン射影法とデータ駆動法を併用して,多目的かつ高精度なアルゴリズムを提案する。
本手法の有効性は,古典学のバックステップ問題と形状変形Ahmed体応用の2つの異なるケースで実証された。
論文 参考訳(メタデータ) (2021-07-20T16:06:18Z) - Fusing the Old with the New: Learning Relative Camera Pose with
Geometry-Guided Uncertainty [91.0564497403256]
本稿では,ネットワークトレーニング中の2つの予測系間の確率的融合を含む新しい枠組みを提案する。
本ネットワークは,異なる対応間の強い相互作用を強制することにより学習を駆動する自己追跡グラフニューラルネットワークを特徴とする。
学習に適したモーションパーマリゼーションを提案し、難易度の高いDeMoNおよびScanNetデータセットで最新のパフォーマンスを達成できることを示します。
論文 参考訳(メタデータ) (2021-04-16T17:59:06Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - The Loss Surfaces of Neural Networks with General Activation Functions [0.0]
我々は、ランダム行列理論の超対称手法を用いてスピングラスの複雑性計算を通して新しい経路をグラフ化する。
我々の結果は、この文脈におけるスピンガラスモデルの強度と弱さの両方に新たな光を当てた。
論文 参考訳(メタデータ) (2020-04-08T12:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。