論文の概要: Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges
- arxiv url: http://arxiv.org/abs/2104.13478v1
- Date: Tue, 27 Apr 2021 21:09:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-29 13:03:29.812287
- Title: Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges
- Title（参考訳）: 幾何学的ディープラーニング:グリッド、グループ、グラフ、測地線、ゲージ
- Authors: Michael M. Bronstein, Joan Bruna, Taco Cohen, Petar Veli\v{c}kovi\'c
- Abstract要約: 過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。
このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。
CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
- 参考スコア（独自算出の注目度）: 50.22269760171131
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The last decade has witnessed an experimental revolution in data science and
machine learning, epitomised by deep learning methods. Indeed, many
high-dimensional learning tasks previously thought to be beyond reach -- such
as computer vision, playing Go, or protein folding -- are in fact feasible with
appropriate computational scale. Remarkably, the essence of deep learning is
built from two simple algorithmic principles: first, the notion of
representation or feature learning, whereby adapted, often hierarchical,
features capture the appropriate notion of regularity for each task, and
second, learning by local gradient-descent type methods, typically implemented
as backpropagation.
While learning generic functions in high dimensions is a cursed estimation
problem, most tasks of interest are not generic, and come with essential
pre-defined regularities arising from the underlying low-dimensionality and
structure of the physical world. This text is concerned with exposing these
regularities through unified geometric principles that can be applied
throughout a wide spectrum of applications.
Such a 'geometric unification' endeavour, in the spirit of Felix Klein's
Erlangen Program, serves a dual purpose: on one hand, it provides a common
mathematical framework to study the most successful neural network
architectures, such as CNNs, RNNs, GNNs, and Transformers. On the other hand,
it gives a constructive procedure to incorporate prior physical knowledge into
neural architectures and provide principled way to build future architectures
yet to be invented.
- Abstract（参考訳）: 過去10年間、データサイエンスと機械学習の実験的な革命が目撃されてきた。
実際、コンピュータビジョン、囲い込み、タンパク質折りたたみなど、これまでは到達不能と考えられていた多くの高次元学習タスクは、適切な計算スケールで実際に実現可能である。
注目すべきは、ディープラーニングの本質は2つの単純なアルゴリズムの原則から成り立っている: まず、表現の概念または特徴学習、すなわち適応された、しばしば階層的な特徴は、各タスクの正則性に関する適切な概念を捉え、次に、局所的な勾配差型手法による学習は、一般的にバックプロパゲーションとして実装される。
高次元における一般的な関数の学習は呪いの見積問題であるが、ほとんどの興味のあるタスクは汎用的ではなく、物理世界の下層の低次元性と構造から生じる重要な事前定義された規則性を持っている。
このテキストは、広い範囲の応用で適用可能な統一幾何原理を通じてこれらの規則性を公開することに関心がある。
このような'幾何学的統一'は、Felix Klein氏のErlangen Programの精神で、2つの目的を果たす。一方、CNN、RNN、GNN、Transformersといった最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
一方で、神経アーキテクチャに事前の物理的知識を組み込む建設的な手順を与え、まだ発明されていない将来のアーキテクチャを構築するための原則的な方法を提供する。
関連論文リスト
- Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳（メタデータ） (2024-02-21T12:16:51Z) - Training Neural Networks with Internal State, Unconstrained
Connectivity, and Discrete Activations [66.53734987585244]
真のインテリジェンスには、内部状態を管理するマシンラーニングモデルが必要だ。
このようなモデルのトレーニングに最も効果的なアルゴリズムは,まだ発見されていない。
このようなトレーニングアルゴリズムを2進アクティベーションと1つの重みの行列のみを持つアーキテクチャに適用する試みについて述べる。
論文 参考訳（メタデータ） (2023-12-22T01:19:08Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳（メタデータ） (2023-10-16T02:12:32Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - Intrinsic Dimension, Persistent Homology and Generalization in Neural
Networks [19.99615698375829]
一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。
我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。
実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
論文 参考訳（メタデータ） (2021-11-25T17:06:15Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Structure preserving deep learning [1.2263454117570958]
深層学習は、大きな関心事のトピックとして、前景に浮かび上がっています。
ディープラーニングの適用には、いくつかの挑戦的な数学的問題がある。
既存のディープラーニング手法の構造を数学的に理解する努力が増えている。
論文 参考訳（メタデータ） (2020-06-05T10:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。