論文の概要: Towards a Categorical Foundation of Deep Learning: A Survey

• arxiv url: http://arxiv.org/abs/2410.05353v1
• Date: Mon, 14 Oct 2024 18:35:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 19:07:22.237913
• Title: Towards a Categorical Foundation of Deep Learning: A Survey
• Title（参考訳）: ディープラーニングのカテゴリー的基礎に向けて:サーベイ
• Authors: Francesco Riccardo Crescenzi,
• Abstract要約: この論文は、機械学習を分類的に研究しようとする最近の研究をカバーしている。 数学と科学の言語フランスとして働く カテゴリー理論は 機械学習の分野に 統一的な構造を与えるかもしれない
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The unprecedented pace of machine learning research has lead to incredible advances, but also poses hard challenges. At present, the field lacks strong theoretical underpinnings, and many important achievements stem from ad hoc design choices which are hard to justify in principle and whose effectiveness often goes unexplained. Research debt is increasing and many papers are found not to be reproducible. This thesis is a survey that covers some recent work attempting to study machine learning categorically. Category theory is a branch of abstract mathematics that has found successful applications in many fields, both inside and outside mathematics. Acting as a lingua franca of mathematics and science, category theory might be able to give a unifying structure to the field of machine learning. This could solve some of the aforementioned problems. In this work, we mainly focus on the application of category theory to deep learning. Namely, we discuss the use of categorical optics to model gradient-based learning, the use of categorical algebras and integral transforms to link classical computer science to neural networks, the use of functors to link different layers of abstraction and preserve structure, and, finally, the use of string diagrams to provide detailed representations of neural network architectures.
• Abstract（参考訳）: 機械学習研究の先例のないペースは、驚くべき進歩をもたらしたが、同時に難しい課題も生んでいる。 現在、この分野には強力な理論的基盤がなく、多くの重要な成果は、原則上は正当化が難しいアドホックな設計選択に起因している。 研究負債は増加しており、多くの論文は再現不可能であることが判明している。 この論文は、機械学習を分類的に研究しようとする最近の研究をカバーしている。 カテゴリー理論(英: Category theory)は、抽象数学の一分野であり、内部および外部数学の両方において、多くの分野において成功した応用を見出した。 数学と科学の言語フランカとして働くと、圏論は機械学習の分野に統一的な構造を与えることができるかもしれない。 上記の問題のいくつかを解決できるかもしれない。 本研究では,主にカテゴリ理論の深層学習への応用に焦点をあてる。 すなわち、勾配に基づく学習をモデル化するための分類光学の利用、古典的なコンピュータ科学とニューラルネットワークを結びつけるための分類代数と積分変換の使用、異なる抽象層を連結し構造を保存するための関手の使用、そして最後に、ニューラルネットワークアーキテクチャの詳細な表現を提供するための文字列図の使用について議論する。

関連論文リスト

• Ontology Embedding: A Survey of Methods, Applications and Resources [54.3453925775069]
  オントロジはドメイン知識とメタデータを表現するために広く使われている。 1つの簡単な解決策は、統計分析と機械学習を統合することである。 埋め込みに関する多くの論文が出版されているが、体系的なレビューの欠如により、研究者はこの分野の包括的な理解を妨げている。
  論文  参考訳（メタデータ） (2024-06-16T14:49:19Z)
• Fundamental Components of Deep Learning: A category-theoretic approach [0.0]
  この論文は、カテゴリ理論の言語に基づく、ディープラーニングのための新しい数学的基礎を発展させている。 我々はまた、既存の多くのアプローチを体系化し、多くの既存の構成と概念を同じ傘の下に置きます。
  論文  参考訳（メタデータ） (2024-03-13T01:29:40Z)
• A Review of Neuroscience-Inspired Machine Learning [58.72729525961739]
  バイオプルーシブル・クレジット・アサインメントは、事実上あらゆる学習条件と互換性があり、エネルギー効率が高い。 本稿では,人工ニューラルネットワークにおける信用代入の生体評価可能なルールをモデル化する,いくつかの重要なアルゴリズムについて検討する。 我々は,このようなアルゴリズムを実用アプリケーションでより有用にするためには,今後の課題に対処する必要があることを論じる。
  論文  参考訳（メタデータ） (2024-02-16T18:05:09Z)
• Breaking the Curse of Dimensionality in Deep Neural Networks by Learning Invariant Representations [1.9580473532948401]
  この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。 ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。 本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
  論文  参考訳（メタデータ） (2023-10-24T19:50:41Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Computing with Categories in Machine Learning [1.7679374058425343]
  分類構造学習フレームワークとしてDisCoPyroを導入する。 DisCoPyroはカテゴリー構造と償却変分推論を組み合わせる。 我々は、DisCoPyroが最終的には人工知能の開発に寄与するのではないかと推測する。
  論文  参考訳（メタデータ） (2023-03-07T17:26:18Z)
• A Survey of Deep Learning for Mathematical Reasoning [71.88150173381153]
  我々は過去10年間の数学的推論とディープラーニングの交差点における重要なタスク、データセット、方法についてレビューする。 大規模ニューラルネットワークモデルの最近の進歩は、新しいベンチマークと、数学的推論にディープラーニングを使用する機会を開放している。
  論文  参考訳（メタデータ） (2022-12-20T18:46:16Z)
• Category Theory in Machine Learning [1.6758573326215689]
  機械学習におけるカテゴリ理論の適用におけるモチベーション,目標,共通テーマについて述べる。 勾配に基づく学習、確率、同変学習について触れる。
  論文  参考訳（メタデータ） (2021-06-13T15:58:13Z)
• Ten Quick Tips for Deep Learning in Biology [116.78436313026478]
  機械学習は、データのパターンを認識し、予測モデリングに使用するアルゴリズムの開発と応用に関係している。 ディープラーニングは、独自の機械学習のサブフィールドになっている。 生物学的研究の文脈において、ディープラーニングは高次元の生物学的データから新しい洞察を導き出すためにますます使われてきた。
  論文  参考訳（メタデータ） (2021-05-29T21:02:44Z)
• Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges [50.22269760171131]
  過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。 このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。 CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-04-27T21:09:51Z)
• Gradient-based Competitive Learning: Theory [1.6752712949948443]
  本稿では,勾配に基づく学習と競争的な学習を組み合わせることで,この分野の新たな視点を紹介する。 この理論は、ニューラルネットワークが入力行列の変換を直接研究することで、トポロジカル構造を学習できるという直感に基づいている。 提案手法は、トポロジカル学習タスクの広範な選択に一般化できるため、大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2020-09-06T19:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。