論文の概要: Reverse Derivative Ascent: A Categorical Approach to Learning Boolean Circuits

• arxiv url: http://arxiv.org/abs/2101.10488v1
• Date: Tue, 26 Jan 2021 00:07:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-13 19:44:49.730834
• Title: Reverse Derivative Ascent: A Categorical Approach to Learning Boolean Circuits
• Title（参考訳）: Reverse Derivative Ascent: ブール回路の学習におけるカテゴリ的アプローチ
• Authors: Paul Wilson (University of Southampton), Fabio Zanasi (University College London)
• Abstract要約: Reverse Derivative Ascentは、機械学習のためのグラデーションベースのメソッドのカテゴリアナログです。 我々のモチベーションは逆回路であり、逆微分圏の理論を用いてアルゴリズムをそのような回路に適用する方法を示す。 ベンチマーク機械学習データセットに関する実験結果を提供することで,その実証的価値を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Reverse Derivative Ascent: a categorical analogue of gradient based methods for machine learning. Our algorithm is defined at the level of so-called reverse differential categories. It can be used to learn the parameters of models which are expressed as morphisms of such categories. Our motivating example is boolean circuits: we show how our algorithm can be applied to such circuits by using the theory of reverse differential categories. Note our methodology allows us to learn the parameters of boolean circuits directly, in contrast to existing binarised neural network approaches. Moreover, we demonstrate its empirical value by giving experimental results on benchmark machine learning datasets.
• Abstract（参考訳）: Reverse Derivative Ascentは、機械学習のためのグラデーションベースのメソッドのカテゴリアナログです。 我々のアルゴリズムは、いわゆる逆微分圏のレベルで定義される。 それはそのようなカテゴリの同型として表現されるモデルのパラメータを学ぶために使用することができます。 我々のモチベーションの例はブール回路(boolean circuits)であり、逆微分圏の理論を用いてアルゴリズムをそのような回路に適用する方法を示す。 既存の二項化ニューラルネットワークのアプローチとは対照的に,本手法ではブール回路のパラメータを直接学習することができる。 さらに、ベンチマーク機械学習データセットに実験結果を与えることで、その経験的価値を示す。

関連論文リスト

• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Deep Learning with Parametric Lenses [0.3645042846301408]
  本稿では、レンズ、パラメトリックマップ、および逆微分カテゴリの観点から機械学習アルゴリズムの分類的意味論を提案する。 この財団は強力な説明と統一の枠組みを提供する。 我々はPythonの実装でフレームワークの実用的重要性を実証する。
  論文  参考訳（メタデータ） (2024-03-30T16:34:28Z)
• Uncovering Intermediate Variables in Transformers using Circuit Probing [32.382094867951224]
  本稿では,仮説化中間変数を演算する低レベル回路を自動的に発見する回路探索手法を提案する。 本手法は,(1)モデルが学習したアルゴリズムの解読,(2)モデル内のモジュラ構造を明らかにすること,(3)学習中の回路の発達を追跡することなどにおいて,単純な算術課題で訓練されたモデルに適用する。
  論文  参考訳（メタデータ） (2023-11-07T21:27:17Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Categories of Differentiable Polynomial Circuits for Machine Learning [0.76146285961466]
  本稿では, RDC のクラスについて, ジェネレータによるプレゼンテーションと方程式について検討する。 好適な機械学習モデルとしてEmphpolynomial circuitを提案する。
  論文  参考訳（メタデータ） (2022-03-12T13:03:30Z)
• Fair Interpretable Representation Learning with Correction Vectors [60.0806628713968]
  我々は「補正ベクトル」の学習を中心にした公正表現学習のための新しい枠組みを提案する。 このような方法で制約されたいくつかの公正表現学習モデルが、ランキングや分類性能の損失を示さないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-02-07T11:19:23Z)
• Training Neural Networks Using the Property of Negative Feedback to Inverse a Function [0.0]
  本稿では,関数の逆解析を行う負のフィードバックシステムの特性をニューラルネットワークのトレーニングに利用する方法について述べる。 本手法をMNISTデータセットに適用し,ニューラルネットワークのトレーニングに有効であることを示す結果を得た。
  論文  参考訳（メタデータ） (2021-03-25T20:13:53Z)
• Categorical Foundations of Gradient-Based Learning [0.31498833540989407]
  本稿では,レンズ,パラメータマップ,逆微分カテゴリの観点から,勾配に基づく機械学習アルゴリズムの分類的基礎を提案する。 このフレームワークは強力な説明と統一のフレームワークを提供し、その類似性と相違点に新しい光を当てている。 我々はまた,Pythonにおける勾配に基づく学習の新たな実装を開発し,フレームワークが導入した原則から情報を得た。
  論文  参考訳（メタデータ） (2021-03-02T18:43:10Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。