論文の概要: Reverse Derivative Ascent: A Categorical Approach to Learning Boolean Circuits

• arxiv url: http://arxiv.org/abs/2101.10488v1
• Date: Tue, 26 Jan 2021 00:07:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-13 19:44:49.730834
• Title: Reverse Derivative Ascent: A Categorical Approach to Learning Boolean Circuits
• Title（参考訳）: Reverse Derivative Ascent: ブール回路の学習におけるカテゴリ的アプローチ
• Authors: Paul Wilson (University of Southampton), Fabio Zanasi (University College London)
• Abstract要約: Reverse Derivative Ascentは、機械学習のためのグラデーションベースのメソッドのカテゴリアナログです。 我々のモチベーションは逆回路であり、逆微分圏の理論を用いてアルゴリズムをそのような回路に適用する方法を示す。 ベンチマーク機械学習データセットに関する実験結果を提供することで,その実証的価値を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Reverse Derivative Ascent: a categorical analogue of gradient based methods for machine learning. Our algorithm is defined at the level of so-called reverse differential categories. It can be used to learn the parameters of models which are expressed as morphisms of such categories. Our motivating example is boolean circuits: we show how our algorithm can be applied to such circuits by using the theory of reverse differential categories. Note our methodology allows us to learn the parameters of boolean circuits directly, in contrast to existing binarised neural network approaches. Moreover, we demonstrate its empirical value by giving experimental results on benchmark machine learning datasets.
• Abstract（参考訳）: Reverse Derivative Ascentは、機械学習のためのグラデーションベースのメソッドのカテゴリアナログです。 我々のアルゴリズムは、いわゆる逆微分圏のレベルで定義される。 それはそのようなカテゴリの同型として表現されるモデルのパラメータを学ぶために使用することができます。 我々のモチベーションの例はブール回路(boolean circuits)であり、逆微分圏の理論を用いてアルゴリズムをそのような回路に適用する方法を示す。 既存の二項化ニューラルネットワークのアプローチとは対照的に,本手法ではブール回路のパラメータを直接学習することができる。 さらに、ベンチマーク機械学習データセットに実験結果を与えることで、その経験的価値を示す。

関連論文リスト

• Learning Functional Transduction [9.926231893220063]
  本研究では, 伝達原理が勾配降下によって誘導され, 効率的な神経近似器が形成されることを示す。 我々は、データが少ない外部要因の影響を受け、複雑な物理システムをモデル化するトランスダクティブアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-02-01T09:14:28Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  ニューラルネットワークを学習して正規化を行うことは、事前定義を使用することよりも優れていることを示す。 この結果から, 正準化関数の学習により, 精度が向上し, 実際に優れた性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Categories of Differentiable Polynomial Circuits for Machine Learning [0.76146285961466]
  本稿では, RDC のクラスについて, ジェネレータによるプレゼンテーションと方程式について検討する。 好適な機械学習モデルとしてEmphpolynomial circuitを提案する。
  論文  参考訳（メタデータ） (2022-03-12T13:03:30Z)
• Fair Interpretable Representation Learning with Correction Vectors [60.0806628713968]
  我々は「補正ベクトル」の学習を中心にした公正表現学習のための新しい枠組みを提案する。 このような方法で制約されたいくつかの公正表現学習モデルが、ランキングや分類性能の損失を示さないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-02-07T11:19:23Z)
• Asymptotics of Network Embeddings Learned via Subsampling [5.391157046071793]
  本研究では,ノード2vecのようなサブサンプリング手法を用いて,単一の統一フレームワークへの表現手法について検討する。 これは、埋め込みベクトルが何を表現し、これらのメソッドが下流のタスクでいかにうまく機能するかを理解するための理論的基盤を提供する。 特に、一般的に使用される損失関数は、Fisher整合性の欠如などの欠点を引き起こす可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-07-06T02:54:53Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Training Neural Networks Using the Property of Negative Feedback to Inverse a Function [0.0]
  本稿では,関数の逆解析を行う負のフィードバックシステムの特性をニューラルネットワークのトレーニングに利用する方法について述べる。 本手法をMNISTデータセットに適用し,ニューラルネットワークのトレーニングに有効であることを示す結果を得た。
  論文  参考訳（メタデータ） (2021-03-25T20:13:53Z)
• Categorical Foundations of Gradient-Based Learning [0.31498833540989407]
  本稿では,レンズ,パラメータマップ,逆微分カテゴリの観点から,勾配に基づく機械学習アルゴリズムの分類的基礎を提案する。 このフレームワークは強力な説明と統一のフレームワークを提供し、その類似性と相違点に新しい光を当てている。 我々はまた,Pythonにおける勾配に基づく学習の新たな実装を開発し,フレームワークが導入した原則から情報を得た。
  論文  参考訳（メタデータ） (2021-03-02T18:43:10Z)
• Visualization of Supervised and Self-Supervised Neural Networks via Attribution Guided Factorization [87.96102461221415]
  クラスごとの説明性を提供するアルゴリズムを開発した。 実験の広範なバッテリーでは、クラス固有の可視化のための手法の能力を実証する。
  論文  参考訳（メタデータ） (2020-12-03T18:48:39Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。