論文の概要: Riemannian Residual Neural Networks

• arxiv url: http://arxiv.org/abs/2310.10013v1
• Date: Mon, 16 Oct 2023 02:12:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 16:46:51.040125
• Title: Riemannian Residual Neural Networks
• Title（参考訳）: リーマン残留ニューラルネットワーク
• Authors: Isay Katsman and Eric Ming Chen and Sidhanth Holalkere and Anna Asch and Aaron Lou and Ser-Nam Lim and Christopher De Sa
• Abstract要約: 残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
• 参考スコア（独自算出の注目度）: 58.925132597945634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent methods in geometric deep learning have introduced various neural networks to operate over data that lie on Riemannian manifolds. Such networks are often necessary to learn well over graphs with a hierarchical structure or to learn over manifold-valued data encountered in the natural sciences. These networks are often inspired by and directly generalize standard Euclidean neural networks. However, extending Euclidean networks is difficult and has only been done for a select few manifolds. In this work, we examine the residual neural network (ResNet) and show how to extend this construction to general Riemannian manifolds in a geometrically principled manner. Originally introduced to help solve the vanishing gradient problem, ResNets have become ubiquitous in machine learning due to their beneficial learning properties, excellent empirical results, and easy-to-incorporate nature when building varied neural networks. We find that our Riemannian ResNets mirror these desirable properties: when compared to existing manifold neural networks designed to learn over hyperbolic space and the manifold of symmetric positive definite matrices, we outperform both kinds of networks in terms of relevant testing metrics and training dynamics.
• Abstract（参考訳）: 幾何学的深層学習の最近の手法は、リーマン多様体上のデータを操作するために様々なニューラルネットワークを導入している。 このようなネットワークは、階層構造を持つグラフ上でよく学習するか、自然科学で遭遇する多様体値データから学ぶためにしばしば必要となる。 これらのネットワークは、しばしば標準ユークリッドニューラルネットワークにインスパイアされ、直接一般化される。 しかし、ユークリッドネットワークの拡張は困難であり、一部の多様体に対してしか行われていない。 本研究では、残留ニューラルネットワーク(ResNet)について検討し、この構成を幾何学的原理で一般リーマン多様体に拡張する方法を示す。 ResNetはもともと、消滅する勾配の問題を解決するために導入され、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。 双曲空間と対称正定値行列の多様体を学習するために設計された既存の多様体ニューラルネットワークと比較して、私たちは関連するテストメトリクスとトレーニングダイナミクスの観点から、両方の種類のネットワークよりも優れています。

関連論文リスト

• A Theoretical Study of Neural Network Expressive Power via Manifold Topology [9.054396245059555]
  実世界のデータに関する一般的な仮定は、それが低次元多様体の上または近くにあるということである。 本研究では,潜在データ多様体のネットワーク表現力について検討する。 本稿では,ReLUニューラルネットワークのサイズ上限について述べる。
  論文  参考訳（メタデータ） (2024-10-21T22:10:24Z)
• A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
  本稿ではReLUのような非微分可能活性化関数の事例について検討する。 最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。
  論文  参考訳（メタデータ） (2024-04-09T08:11:46Z)
• When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
  過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。 一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
  論文  参考訳（メタデータ） (2023-04-29T11:46:53Z)
• Neural networks learn to magnify areas near decision boundaries [32.84188052937496]
  本研究では,非拘束型ニューラルネットワーク特徴写像による幾何形状の学習方法について検討する。 まず、無限の幅でランダムパラメータを持つニューラルネットワークが入力空間上で高度に対称なメトリクスを誘導することを示す。 分類タスクを実行するために訓練されたネットワークは、決定境界に沿った地域を拡大するために学習する。
  論文  参考訳（メタデータ） (2023-01-26T19:43:16Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。