論文の概要: A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes

• arxiv url: http://arxiv.org/abs/2404.06104v1
• Date: Tue, 9 Apr 2024 08:11:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 15:29:31.363256
• Title: A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes
• Title（参考訳）: ディープニューラルネットワークに対する特異リーマン幾何学的アプローチIII.$n$次元のクラス上での微分可能な層とランダムウォーク
• Authors: Alessandro Benfenati, Alessio Marta,
• Abstract要約: 本稿ではReLUのような非微分可能活性化関数の事例について検討する。 最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。
• 参考スコア（独自算出の注目度）: 49.32130498861987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are playing a crucial role in everyday life, with the most modern generative models able to achieve impressive results. Nonetheless, their functioning is still not very clear, and several strategies have been adopted to study how and why these model reach their outputs. A common approach is to consider the data in an Euclidean settings: recent years has witnessed instead a shift from this paradigm, moving thus to more general framework, namely Riemannian Geometry. Two recent works introduced a geometric framework to study neural networks making use of singular Riemannian metrics. In this paper we extend these results to convolutional, residual and recursive neural networks, studying also the case of non-differentiable activation functions, such as ReLU. We illustrate our findings with some numerical experiments on classification of images and thermodynamic problems.
• Abstract（参考訳）: ニューラルネットワークは日常生活において重要な役割を演じており、最も現代的な生成モデルは印象的な結果を得ることができる。 それでも、それらの機能はあまり明確ではなく、これらのモデルが出力に達する方法と理由を研究するためにいくつかの戦略が採用されている。 近年では、このパラダイムから、より一般的なフレームワーク、すなわちリーマン幾何学へと移行している。 最近の2つの研究は、特異リーマン計量を用いてニューラルネットワークを研究する幾何学的枠組みを導入した。 本稿では、これらの結果を畳み込み、残留、再帰的なニューラルネットワークに拡張し、ReLUのような非微分可能活性化関数についても検討する。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• A Study on Quantum Graph Neural Networks Applied to Molecular Physics [0.5277756703318045]
  本稿では,従来の文献とは大きく異なる量子グラフニューラルネットワークのアーキテクチャを提案する。 提案手法は, 従来のモデルと類似した結果をもたらすが, パラメータが少なかったため, 問題の基礎となる物理に根ざした極めて解釈可能なアーキテクチャがもたらされる。
  論文  参考訳（メタデータ） (2024-08-06T20:06:48Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Metric Space Magnitude and Generalisation in Neural Networks [12.110483221042903]
  この研究は、マグニチュードと呼ばれる新しい位相不変量のレンズを通して、ディープニューラルネットワークの学習過程を定量化する。 本研究では,ニューラルネットワークの内部表現の研究に規模を用い,その一般化能力を決定するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-09T17:04:50Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• A singular Riemannian geometry approach to Deep Neural Networks I. Theoretical foundations [77.86290991564829]
  ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。 我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。 このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
  論文  参考訳（メタデータ） (2021-12-17T11:43:30Z)
• Hybrid neural network reduced order modelling for turbulent flows with geometric parameters [0.0]
  本稿では,幾何的パラメータ化不可能な乱流Navier-Stokes問題の解法として,古典的ガレルキン射影法とデータ駆動法を併用して,多目的かつ高精度なアルゴリズムを提案する。 本手法の有効性は,古典学のバックステップ問題と形状変形Ahmed体応用の2つの異なるケースで実証された。
  論文  参考訳（メタデータ） (2021-07-20T16:06:18Z)
• The Loss Surfaces of Neural Networks with General Activation Functions [0.0]
  我々は、ランダム行列理論の超対称手法を用いてスピングラスの複雑性計算を通して新しい経路をグラフ化する。 我々の結果は、この文脈におけるスピンガラスモデルの強度と弱さの両方に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-04-08T12:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。