Fugu-MT 論文翻訳(概要): Deep Learning with Parametric Lenses

論文の概要: Deep Learning with Parametric Lenses

arxiv url: http://arxiv.org/abs/2404.00408v1
Date: Sat, 30 Mar 2024 16:34:28 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 03:59:36.713501
Title: Deep Learning with Parametric Lenses
Title（参考訳）: パラメトリックレンズによる深層学習
Authors: Geoffrey S. H. Cruttwell, Bruno Gavranovic, Neil Ghani, Paul Wilson, Fabio Zanasi,
Abstract要約: 本稿では、レンズ、パラメトリックマップ、および逆微分カテゴリの観点から機械学習アルゴリズムの分類的意味論を提案する。この財団は強力な説明と統一の枠組みを提供する。我々はPythonの実装でフレームワークの実用的重要性を実証する。
参考スコア（独自算出の注目度）: 0.3645042846301408
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a categorical semantics for machine learning algorithms in terms of lenses, parametric maps, and reverse derivative categories. This foundation provides a powerful explanatory and unifying framework: it encompasses a variety of gradient descent algorithms such as ADAM, AdaGrad, and Nesterov momentum, as well as a variety of loss functions such as MSE and Softmax cross-entropy, and different architectures, shedding new light on their similarities and differences. Furthermore, our approach to learning has examples generalising beyond the familiar continuous domains (modelled in categories of smooth maps) and can be realised in the discrete setting of Boolean and polynomial circuits. We demonstrate the practical significance of our framework with an implementation in Python.
Abstract（参考訳）: 本稿では、レンズ、パラメトリックマップ、および逆微分カテゴリの観点から機械学習アルゴリズムの分類的意味論を提案する。この基盤は強力な説明と統一の枠組みを提供しており、ADAM、AdaGrad、Nesterov運動量などの様々な勾配降下アルゴリズム、MSEやSoftmaxのクロスエントロピーのような様々な損失関数、および異なるアーキテクチャを包含し、それらの類似点と相違点に新たな光を当てている。さらに、学習へのアプローチには、慣れ親しんだ連続領域(滑らかな写像のカテゴリでモデル化された)を超えて一般化する例があり、ブール回路と多項式回路の離散的な設定で実現することができる。我々はPythonの実装でフレームワークの実用的重要性を実証する。

関連論文リスト

Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文参考訳（メタデータ） (2022-05-05T13:40:08Z)
Differentiable Spline Approximations [48.10988598845873]
微分プログラミングは機械学習のスコープを大幅に強化した。標準的な微分可能なプログラミング手法(autodiffなど)は、通常、機械学習モデルが微分可能であることを要求する。この再設計されたヤコビアンを予測モデルにおける微分可能な「層」の形で活用することで、多様なアプリケーションの性能が向上することを示す。
論文参考訳（メタデータ） (2021-10-04T16:04:46Z)
Deep Relational Metric Learning [84.95793654872399]
本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
論文参考訳（メタデータ） (2021-08-23T09:31:18Z)
How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
論文参考訳（メタデータ） (2021-05-05T17:56:00Z)
Categorical Foundations of Gradient-Based Learning [0.31498833540989407]
本稿では,レンズ,パラメータマップ,逆微分カテゴリの観点から,勾配に基づく機械学習アルゴリズムの分類的基礎を提案する。このフレームワークは強力な説明と統一のフレームワークを提供し、その類似性と相違点に新しい光を当てている。我々はまた,Pythonにおける勾配に基づく学習の新たな実装を開発し,フレームワークが導入した原則から情報を得た。
論文参考訳（メタデータ） (2021-03-02T18:43:10Z)
Reverse Derivative Ascent: A Categorical Approach to Learning Boolean Circuits [0.0]
Reverse Derivative Ascentは、機械学習のためのグラデーションベースのメソッドのカテゴリアナログです。我々のモチベーションは逆回路であり、逆微分圏の理論を用いてアルゴリズムをそのような回路に適用する方法を示す。ベンチマーク機械学習データセットに関する実験結果を提供することで,その実証的価値を示す。
論文参考訳（メタデータ） (2021-01-26T00:07:20Z)
Neural Mechanics: Symmetry and Broken Conservation Laws in Deep Learning Dynamics [26.485269202381932]
トレーニング中のニューラルネットワークパラメータのダイナミクスを理解することは、ディープラーニングの理論基盤を構築する上で重要な課題のひとつだ。このような対称性は勾配やヘッシアンに厳密な幾何学的制約を課し、関連する保存則を導く。 SGDが有限学習速度で行った数値軌道をよりよく近似する差分方程式である修正勾配流の導出に有限差分法からツールを適用します。
論文参考訳（メタデータ） (2020-12-08T20:33:30Z)
Functorial Manifold Learning [1.14219428942199]
まず、擬似距離空間を最適化対象にマッピングする関手として多様体学習アルゴリズムを特徴付ける。次に、この特徴付けを用いて、多様体学習損失関数の洗練された境界を証明し、多様体学習アルゴリズムの階層を構築する。我々は,この階層の異なるレベルにおける函手として,計量多次元スケーリング,IsoMap,UMAPなど,いくつかの一般的な多様体学習アルゴリズムを表現している。
論文参考訳（メタデータ） (2020-11-15T02:30:23Z)
Reinforcement Learning as Iterative and Amortised Inference [62.997667081978825]
我々は、この制御を推論フレームワークとして使用し、償却および反復推論に基づく新しい分類スキームを概説する。この観点から、比較的探索されていないアルゴリズム設計空間の一部を特定できることを示す。
論文参考訳（メタデータ） (2020-06-13T16:10:03Z)
Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。