論文の概要: A singular Riemannian geometry approach to Deep Neural Networks I. Theoretical foundations

• arxiv url: http://arxiv.org/abs/2201.09656v2
• Date: Fri, 23 Sep 2022 10:19:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-04 06:53:02.717482
• Title: A singular Riemannian geometry approach to Deep Neural Networks I. Theoretical foundations
• Title（参考訳）: ディープニューラルネットワークに対する特異リーマン幾何学的アプローチ I. 理論的基礎
• Authors: Alessandro Benfenati and Alessio Marta
• Abstract要約: ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。 我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。 このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
• 参考スコア（独自算出の注目度）: 77.86290991564829
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks are widely used for solving complex problems in several scientific areas, such as speech recognition, machine translation, image analysis. The strategies employed to investigate their theoretical properties mainly rely on Euclidean geometry, but in the last years new approaches based on Riemannian geometry have been developed. Motivated by some open problems, we study a particular sequence of maps between manifolds, with the last manifold of the sequence equipped with a Riemannian metric. We investigate the structures induced trough pullbacks on the other manifolds of the sequence and on some related quotients. In particular, we show that the pullbacks of the final Riemannian metric to any manifolds of the sequence is a degenerate Riemannian metric inducing a structure of pseudometric space, we show that the Kolmogorov quotient of this pseudometric space yields a smooth manifold, which is the base space of a particular vertical bundle. We investigate the theoretical properties of the maps of such sequence, eventually we focus on the case of maps between manifolds implementing neural networks of practical interest and we present some applications of the geometric framework we introduced in the first part of the paper.
• Abstract（参考訳）: ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。 その理論的性質を研究するための戦略は主にユークリッド幾何学に依存しているが、近年はリーマン幾何学に基づく新しいアプローチが開発されている。 いくつかの開問題に動機付けられて、リーマン計量を備えた列の最後の多様体を持つ多様体間の写像の特定の列を研究する。 トラフ引き戻しを誘導する構造について, 列の他の多様体と関連する商について検討した。 特に、列の任意の多様体に対する最終リーマン計量の引き戻しが擬計量空間の構造を誘導する退化リーマン計量であることを示し、この擬計量空間のコルモゴロフ商が、特定の垂直束の基底空間である滑らかな多様体となることを示す。 このような列の写像の理論的性質について検討し,最終的に実用的関心を持つニューラルネットワークを実装する多様体間の写像の場合に焦点を当て,本論文の第一部で紹介した幾何学的枠組みの応用について述べる。

関連論文リスト

• The geometry of the deep linear network [0.0]
  いくつかの著者による厳密な結果は、深層学習のための熱力学フレームワークに統合される。 DLNと数学の他の分野との関係について、いくつかのオープンな質問とともに議論する。
  論文  参考訳（メタデータ） (2024-11-13T20:15:50Z)
• RMLR: Extending Multinomial Logistic Regression into General Geometries [64.16104856124029]
  我々のフレームワークは、最小限の幾何学的性質しか必要とせず、広い適用性を示す。 SPD MLRの5つのファミリーを5種類のパワー変形測定値に基づいて開発する。 回転行列上では、人気のある双不変計量に基づいてリー MLR を提案する。
  論文  参考訳（メタデータ） (2024-09-28T18:38:21Z)
• A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
  本稿ではReLUのような非微分可能活性化関数の事例について検討する。 最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。
  論文  参考訳（メタデータ） (2024-04-09T08:11:46Z)
• Gaussian Entanglement Measure: Applications to Multipartite Entanglement of Graph States and Bosonic Field Theory [50.24983453990065]
  フービニ・スタディ計量に基づく絡み合い尺度は、Cocchiarellaと同僚によって最近導入された。 本稿では,多モードガウス状態に対する幾何絡み合いの一般化であるガウスエンタングルメント尺度(GEM)を提案する。 自由度の高い系に対する計算可能な多部絡み合わせ測度を提供することにより、自由なボゾン場理論の洞察を得るために、我々の定義が利用できることを示す。
  論文  参考訳（メタデータ） (2024-01-31T15:50:50Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• On Geometric Connections of Embedded and Quotient Geometries in Riemannian Fixed-rank Matrix Optimization [5.876141028192136]
  本稿では,埋め込みおよび商測地の下でのリーマン最適化問題の幾何学的ランドスケープ接続を確立するための一般的な手順を提案する。 固定ランク行列最適化において,特定のリーマン測度を持つ2つの測度間のアルゴリズム的接続を観測する。 結果は、文学における未回答の疑問に対して、いくつかの新しい理論的洞察を与える。
  論文  参考訳（メタデータ） (2021-10-23T03:13:56Z)
• Semi-Riemannian Graph Convolutional Networks [36.09315878397234]
  まず、定数非零曲率の半リーマン多様体のデータをモデル化する原理付きセミリーマンGCNを開発する。 本手法は,階層型グラフのような混合ヘテロジニアストポロジーをサイクルでモデル化するのに十分柔軟である幾何学的帰納バイアスを与える。
  論文  参考訳（メタデータ） (2021-06-06T14:23:34Z)
• A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
  ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。 我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
  論文  参考訳（メタデータ） (2021-05-06T17:36:55Z)
• Nested Grassmannians for Dimensionality Reduction with Applications [7.106986689736826]
  等質リーマン多様体のネスト列を構成するための新しい枠組みを提案する。 我々は、提案されたフレームワークをグラスマン多様体に適用することに集中し、ネストしたグラスマン多様体(NG)を生み出した。 具体的には、各平面(2D) 形状は複素グラスマン多様体である複素射影空間の点として表すことができる。 提案したNG構造を用いて,教師付き次元減少問題と教師なし次元減少問題に対するアルゴリズムをそれぞれ開発する。
  論文  参考訳（メタデータ） (2020-10-27T20:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。