論文の概要: Fundamental Components of Deep Learning: A category-theoretic approach
- arxiv url: http://arxiv.org/abs/2403.13001v1
- Date: Wed, 13 Mar 2024 01:29:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 07:17:26.075530
- Title: Fundamental Components of Deep Learning: A category-theoretic approach
- Title（参考訳）: ディープラーニングの基礎的構成要素--カテゴリー理論のアプローチ
- Authors: Bruno Gavranović,
- Abstract要約: この論文は、カテゴリ理論の言語に基づく、ディープラーニングのための新しい数学的基礎を発展させている。
我々はまた、既存の多くのアプローチを体系化し、多くの既存の構成と概念を同じ傘の下に置きます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning, despite its remarkable achievements, is still a young field. Like the early stages of many scientific disciplines, it is marked by the discovery of new phenomena, ad-hoc design decisions, and the lack of a uniform and compositional mathematical foundation. From the intricacies of the implementation of backpropagation, through a growing zoo of neural network architectures, to the new and poorly understood phenomena such as double descent, scaling laws or in-context learning, there are few unifying principles in deep learning. This thesis develops a novel mathematical foundation for deep learning based on the language of category theory. We develop a new framework that is a) end-to-end, b) unform, and c) not merely descriptive, but prescriptive, meaning it is amenable to direct implementation in programming languages with sufficient features. We also systematise many existing approaches, placing many existing constructions and concepts from the literature under the same umbrella. In Part I we identify and model two main properties of deep learning systems parametricity and bidirectionality by we expand on the previously defined construction of actegories and Para to study the former, and define weighted optics to study the latter. Combining them yields parametric weighted optics, a categorical model of artificial neural networks, and more. Part II justifies the abstractions from Part I, applying them to model backpropagation, architectures, and supervised learning. We provide a lens-theoretic axiomatisation of differentiation, covering not just smooth spaces, but discrete settings of boolean circuits as well. We survey existing, and develop new categorical models of neural network architectures. We formalise the notion of optimisers and lastly, combine all the existing concepts together, providing a uniform and compositional framework for supervised learning.
- Abstract（参考訳）: 深層学習は目覚ましい業績にもかかわらず、まだ若い分野である。
多くの科学分野の初期の段階と同様に、新しい現象の発見、アドホックな設計の決定、均一で構成的な数学的基礎の欠如が特徴である。
バックプロパゲーションの実装の複雑さから、成長するニューラルネットワークアーキテクチャの動物園、二重降下、スケーリング法則、コンテキスト内学習といった、新しく理解されていない現象に至るまで、ディープラーニングには統一された原則がほとんどない。
この論文は、カテゴリ理論の言語に基づく、ディープラーニングのための新しい数学的基礎を発展させている。
私たちは、新しいフレームワークを開発します。
end-to-end (複数形 end-to-ends)
b) 未形成で,かつ
c) 単に記述的ではなく、規範的である。つまり、十分な機能を持つプログラミング言語で直接実装することは可能である。
我々はまた、多くの既存のアプローチを体系化し、同じ傘の下に文学から多くの既存の構成と概念を配置する。
第1部では、前者を研究するために予め定義されたアクテゴリーとパラを拡張して、深層学習システムのパラメトリック性と双方向性の2つの主な特性を特定し、モデル化し、後者を研究するために重み付き光学を定義する。
これらを組み合わせることで、パラメトリックな重み付け光学、人工知能ニューラルネットワークのカテゴリーモデルなどが得られる。
パートIIはパートIの抽象化を正当化し、バックプロパゲーション、アーキテクチャ、教師付き学習のモデルに適用します。
我々は、スムーズな空間だけでなく、ブール回路の離散的な設定も含む、微分のレンズ理論的公理化を提供する。
ニューラルネットワークアーキテクチャの既存モデルを調査し,新たなカテゴリモデルを開発した。
我々はオプティマイザの概念を定式化し、最後に既存の概念をすべて組み合わせ、教師あり学習のための一様で構成的な枠組みを提供する。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - Towards a Categorical Foundation of Deep Learning: A Survey [0.0]
この論文は、機械学習を分類的に研究しようとする最近の研究をカバーしている。
数学と科学の言語フランスとして働く カテゴリー理論は 機械学習の分野に 統一的な構造を与えるかもしれない
論文 参考訳（メタデータ） (2024-10-07T13:11:16Z) - Categorical semiotics: Foundations for Knowledge Integration [0.0]
ディープラーニングアーキテクチャの定義と分析のための包括的なフレームワークを開発するという課題に取り組む。
我々の方法論は、ファジィ集合の宇宙の中で解釈されるエルレスマンのスケッチに類似したグラフィカル構造を用いる。
このアプローチは、決定論的および非決定論的ニューラルネットワーク設計の両方をエレガントに包含する統一理論を提供する。
論文 参考訳（メタデータ） (2024-04-01T23:19:01Z) - Discovering Latent Concepts Learned in BERT [21.760620298330235]
事前学習されたBERTモデルに潜伏概念が存在するかを検討する。
また、174のコンセプトラベルと1Mのアノテーション付きインスタンスからなる新しいBERT ConceptNetデータセット(BCN)もリリースした。
論文 参考訳（メタデータ） (2022-05-15T09:45:34Z) - Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges [50.22269760171131]
過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。
このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。
CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
論文 参考訳（メタデータ） (2021-04-27T21:09:51Z) - Investigating Bi-Level Optimization for Learning and Vision from a
Unified Perspective: A Survey and Beyond [114.39616146985001]
機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。
本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。
次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
論文 参考訳（メタデータ） (2021-01-27T16:20:23Z) - Formalising Concepts as Grounded Abstractions [68.24080871981869]
このレポートは、表現学習が生データから概念を誘導する方法を示しています。
このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
論文 参考訳（メタデータ） (2021-01-13T15:22:01Z) - Recent advances in deep learning theory [104.01582662336256]
本稿では,近年のディープラーニング理論の進歩をレビューし,整理する。
文献は,(1)深層学習の一般化可能性を分析する複雑性とキャパシティに基づくアプローチ,(2)勾配降下とその変種をモデル化するための微分方程式とその力学系,(3)動的システムの軌道を駆動する損失景観の幾何学的構造,(5)ネットワークアーキテクチャにおけるいくつかの特別な構造の理論的基礎,の6つのグループに分類される。
論文 参考訳（メタデータ） (2020-12-20T14:16:41Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。