論文の概要: Categorical Foundations of Gradient-Based Learning

• arxiv url: http://arxiv.org/abs/2103.01931v1
• Date: Tue, 2 Mar 2021 18:43:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 15:48:28.151480
• Title: Categorical Foundations of Gradient-Based Learning
• Title（参考訳）: グラディエント学習のカテゴリー的基礎
• Authors: G.S.H. Cruttwell, Bruno Gavranovi\'c, Neil Ghani, Paul Wilson, Fabio Zanasi
• Abstract要約: 本稿では,レンズ,パラメータマップ,逆微分カテゴリの観点から,勾配に基づく機械学習アルゴリズムの分類的基礎を提案する。 このフレームワークは強力な説明と統一のフレームワークを提供し、その類似性と相違点に新しい光を当てている。 我々はまた,Pythonにおける勾配に基づく学習の新たな実装を開発し,フレームワークが導入した原則から情報を得た。
• 参考スコア（独自算出の注目度）: 0.31498833540989407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a categorical foundation of gradient-based machine learning algorithms in terms of lenses, parametrised maps, and reverse derivative categories. This foundation provides a powerful explanatory and unifying framework: it encompasses a variety of gradient descent algorithms such as ADAM, AdaGrad, and Nesterov momentum, as well as a variety of loss functions such as as MSE and Softmax cross-entropy, shedding new light on their similarities and differences. Our approach also generalises beyond neural networks (modelled in categories of smooth maps), accounting for other structures relevant to gradient-based learning such as boolean circuits. Finally, we also develop a novel implementation of gradient-based learning in Python, informed by the principles introduced by our framework.
• Abstract（参考訳）: 本稿では,レンズ,パラメータマップ,逆微分カテゴリの観点から,勾配に基づく機械学習アルゴリズムの分類的基礎を提案する。 この基盤は強力な説明と統一の枠組みを提供しており、ADAM、AdaGrad、Nesterov運動量などの様々な勾配降下アルゴリズムと、MSEやSoftmaxのクロスエントロピーのような様々な損失関数を包含し、それらの類似点と相違点に新たな光を当てている。 また,このアプローチでは,(滑らかな写像のカテゴリでモデル化された)ニューラルネットワークを超えて一般化し,ブール回路などの勾配ベースの学習に関連する他の構造を説明する。 最後に,Pythonにおける勾配に基づく学習の新たな実装も開発し,フレームワークが導入した原則を取り入れた。

関連論文リスト

• Deep Learning with Parametric Lenses [0.3645042846301408]
  本稿では、レンズ、パラメトリックマップ、および逆微分カテゴリの観点から機械学習アルゴリズムの分類的意味論を提案する。 この財団は強力な説明と統一の枠組みを提供する。 我々はPythonの実装でフレームワークの実用的重要性を実証する。
  論文  参考訳（メタデータ） (2024-03-30T16:34:28Z)
• Fundamental Components of Deep Learning: A category-theoretic approach [0.0]
  この論文は、カテゴリ理論の言語に基づく、ディープラーニングのための新しい数学的基礎を発展させている。 我々はまた、既存の多くのアプローチを体系化し、多くの既存の構成と概念を同じ傘の下に置きます。
  論文  参考訳（メタデータ） (2024-03-13T01:29:40Z)
• Training morphological neural networks with gradient descent: some theoretical insights [0.40792653193642503]
  形態素ネットワークに適用された微分に基づくアプローチとバックプロパゲーションの可能性と限界について検討する。 我々は、特に学習率に関する洞察と最初の理論的ガイドラインを提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:11:15Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Reverse Derivative Ascent: A Categorical Approach to Learning Boolean Circuits [0.0]
  Reverse Derivative Ascentは、機械学習のためのグラデーションベースのメソッドのカテゴリアナログです。 我々のモチベーションは逆回路であり、逆微分圏の理論を用いてアルゴリズムをそのような回路に適用する方法を示す。 ベンチマーク機械学習データセットに関する実験結果を提供することで,その実証的価値を示す。
  論文  参考訳（メタデータ） (2021-01-26T00:07:20Z)
• Functorial Manifold Learning [1.14219428942199]
  まず、擬似距離空間を最適化対象にマッピングする関手として多様体学習アルゴリズムを特徴付ける。 次に、この特徴付けを用いて、多様体学習損失関数の洗練された境界を証明し、多様体学習アルゴリズムの階層を構築する。 我々は,この階層の異なるレベルにおける函手として,計量多次元スケーリング,IsoMap,UMAPなど,いくつかの一般的な多様体学習アルゴリズムを表現している。
  論文  参考訳（メタデータ） (2020-11-15T02:30:23Z)
• Reinforcement Learning as Iterative and Amortised Inference [62.997667081978825]
  我々は、この制御を推論フレームワークとして使用し、償却および反復推論に基づく新しい分類スキームを概説する。 この観点から、比較的探索されていないアルゴリズム設計空間の一部を特定できることを示す。
  論文  参考訳（メタデータ） (2020-06-13T16:10:03Z)
• FLAT: Few-Shot Learning via Autoencoding Transformation Regularizers [67.46036826589467]
  本稿では,データ例のラベルを使わずに,変換の分布によって引き起こされる特徴表現の変化を学習することで,新たな正規化機構を提案する。 エンコードされた特徴レベルで変換強化されたバリエーションを検査することで、ベースカテゴリへのオーバーフィットのリスクを最小限に抑えることができる。 実験結果から,文学における現在の最先端手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2019-12-29T15:26:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。