論文の概要: Position: Categorical Deep Learning is an Algebraic Theory of All Architectures

• arxiv url: http://arxiv.org/abs/2402.15332v2
• Date: Thu, 6 Jun 2024 00:58:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 21:12:20.178198
• Title: Position: Categorical Deep Learning is an Algebraic Theory of All Architectures
• Title（参考訳）: 位置: カテゴリ的ディープラーニングは、すべてのアーキテクチャの代数的理論である
• Authors: Bruno Gavranović, Paul Lessard, Andrew Dudzik, Tamara von Glehn, João G. M. Araújo, Petar Veličković,
• Abstract要約: 本稿では,ディープラーニングアーキテクチャの特定と研究のための汎用フレームワークの探求について述べる。 本稿では,これら2つのニューラルネットワーク設計の風味をエレガントに仮定する単一理論として,圏論を適用することを提案する。 この理論は、幾何学的深層学習によって引き起こされる制約と、ニューラルネットワークの多様な風景から引き出された多くのアーキテクチャの実装をいかに回復するかを示す。
• 参考スコア（独自算出の注目度）: 1.772996392520906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present our position on the elusive quest for a general-purpose framework for specifying and studying deep learning architectures. Our opinion is that the key attempts made so far lack a coherent bridge between specifying constraints which models must satisfy and specifying their implementations. Focusing on building a such a bridge, we propose to apply category theory -- precisely, the universal algebra of monads valued in a 2-category of parametric maps -- as a single theory elegantly subsuming both of these flavours of neural network design. To defend our position, we show how this theory recovers constraints induced by geometric deep learning, as well as implementations of many architectures drawn from the diverse landscape of neural networks, such as RNNs. We also illustrate how the theory naturally encodes many standard constructs in computer science and automata theory.
• Abstract（参考訳）: 本稿では,ディープラーニングアーキテクチャの特定と研究のための汎用フレームワークの探索について述べる。 我々の意見では、これまでになされた重要な試みは、モデルが満たさなければならない制約とそれらの実装を規定することの間の一貫性のある橋渡しを欠いている。 このような橋梁の構築に焦点をあてて、ニューラルネットワーク設計のこれらのフレーバーをエレガントに仮定する単一の理論として、正確にはパラメトリックマップの2-カテゴリで評価されるモナドの普遍代数(英語版)の圏論を適用することを提案する。 我々の立場を守るために、この理論は幾何学的深層学習によって引き起こされる制約を回復し、RNNのような多様なニューラルネットワークの風景から引き出された多くのアーキテクチャの実装を示す。 また、この理論はコンピュータ科学やオートマトン理論における多くの標準構造を自然にエンコードしている。

関連論文リスト

• Towards a Categorical Foundation of Deep Learning: A Survey [0.0]
  この論文は、機械学習を分類的に研究しようとする最近の研究をカバーしている。 数学と科学の言語フランスとして働く カテゴリー理論は 機械学習の分野に 統一的な構造を与えるかもしれない
  論文  参考訳（メタデータ） (2024-10-07T13:11:16Z)
• Fundamental Components of Deep Learning: A category-theoretic approach [0.0]
  この論文は、カテゴリ理論の言語に基づく、ディープラーニングのための新しい数学的基礎を発展させている。 我々はまた、既存の多くのアプローチを体系化し、多くの既存の構成と概念を同じ傘の下に置きます。
  論文  参考訳（メタデータ） (2024-03-13T01:29:40Z)
• Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
  本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。 オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。 大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
  論文  参考訳（メタデータ） (2024-02-23T16:50:07Z)
• A Structural Approach to the Design of Domain Specific Neural Network Architectures [0.0]
  この論文は幾何学的深層学習の理論的評価を提供することを目的としている。 学習性能に関する不変ニューラルネットワークの特性を特徴付ける理論的な結果をコンパイルする。
  論文  参考訳（メタデータ） (2023-01-23T11:50:57Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges [50.22269760171131]
  過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。 このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。 CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-04-27T21:09:51Z)
• The Autodidactic Universe [0.8795040582681388]
  宇宙が自身の物理法則を学習する宇宙論へのアプローチを提案する。 我々はこれらの行列モデルをゲージ/重力理論と学習機械の数学的モデルの両方に対応づけたマップを発見する。 自律的なシステムでは,教師のいない学習がどのような意味を持つのかを詳細に議論する。
  論文  参考訳（メタデータ） (2021-03-29T02:25:02Z)
• Recent advances in deep learning theory [104.01582662336256]
  本稿では,近年のディープラーニング理論の進歩をレビューし,整理する。 文献は,(1)深層学習の一般化可能性を分析する複雑性とキャパシティに基づくアプローチ,(2)勾配降下とその変種をモデル化するための微分方程式とその力学系,(3)動的システムの軌道を駆動する損失景観の幾何学的構造,(5)ネットワークアーキテクチャにおけるいくつかの特別な構造の理論的基礎,の6つのグループに分類される。
  論文  参考訳（メタデータ） (2020-12-20T14:16:41Z)
• Understanding Deep Architectures with Reasoning Layer [60.90906477693774]
  本研究では,アルゴリズムの収束,安定性,感度といった特性が,エンドツーエンドモデルの近似と一般化能力と密接に関連していることを示す。 私たちの理論は、深いアーキテクチャを推論層で設計するための有用なガイドラインを提供することができます。
  論文  参考訳（メタデータ） (2020-06-24T00:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。