論文の概要: $\partial\mathbb{B}$ nets: learning discrete functions by gradient descent

• arxiv url: http://arxiv.org/abs/2305.07315v1
• Date: Fri, 12 May 2023 08:40:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 13:49:22.407051
• Title: $\partial\mathbb{B}$ nets: learning discrete functions by gradient descent
• Title（参考訳）: $\partial\mathbb{B}$ nets:勾配降下による離散関数の学習
• Authors: Ian Wright
• Abstract要約: $partialmathbbB$ netsは、離散値関数を降下によって学習する、微分可能なニューラルネットワークである。 バックプロパゲーションによりソフトネットをトレーニングし、学習したウェイトを硬化させ、ハードネットに結合するウェイトを生成する。 予備的な実験では、$partialmathbbB$ netsが標準的な機械学習問題で同等のパフォーマンスを達成している。
• 参考スコア（独自算出の注目度）: 1.599072005190786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: $\partial\mathbb{B}$ nets are differentiable neural networks that learn discrete boolean-valued functions by gradient descent. $\partial\mathbb{B}$ nets have two semantically equivalent aspects: a differentiable soft-net, with real weights, and a non-differentiable hard-net, with boolean weights. We train the soft-net by backpropagation and then `harden' the learned weights to yield boolean weights that bind with the hard-net. The result is a learned discrete function. `Hardening' involves no loss of accuracy, unlike existing approaches to neural network binarization. Preliminary experiments demonstrate that $\partial\mathbb{B}$ nets achieve comparable performance on standard machine learning problems yet are compact (due to 1-bit weights) and interpretable (due to the logical nature of the learnt functions).
• Abstract（参考訳）: $\partial\mathbb{B}$ netsは、勾配降下によって離散ブール値関数を学習する微分可能なニューラルネットワークである。 $\partial\mathbb{B}$ nets は2つの意味論的等価な側面を持つ: 実重みを持つ微分可能なソフトネットと、ブール重みを持つ微分不可能なハードネットである。 バックプロパゲーションによりソフトネットをトレーニングし、学習したウェイトを'ハード'してハードネットに結合するブールウェイトを生成する。 結果は学習された離散関数である。 ニューラルネットワークのバイナライゼーションに対する既存のアプローチとは異なり、‘Hardening’は精度の低下を伴わない。 予備実験では、$\partial\mathbb{b}$ nets が標準的な機械学習問題で同等のパフォーマンスを達成しているが、(1ビットの重みによる)コンパクトで解釈可能である(学習関数の論理的性質により)。

関連論文リスト

• Dimension-independent learning rates for high-dimensional classification problems [53.622581586464634]
  各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。 次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
  論文  参考訳（メタデータ） (2024-09-26T16:02:13Z)
• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy [52.40331776572531]
  ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。 この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
  論文  参考訳（メタデータ） (2023-02-15T02:00:26Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Binarizing by Classification: Is soft function really necessary? [4.329951775163721]
  本稿では,二項分類問題としてネットワークバイナライゼーションに取り組むことを提案する。 また、ポーズ推定モデルの軽量化手法としてバイナライゼーションを用いる。 提案手法により,最大60.6ドルのmAPを初めて達成できる。
  論文  参考訳（メタデータ） (2022-05-16T02:47:41Z)
• Stability of Deep Neural Networks via discrete rough paths [0.0]
  入力データとトレーニングされたネットワーク重みの両面から,Deep Residual Neural Networksの出力の事前推定を行う。 我々は、残差ニューラルネットワークを(粗)差分方程式の解として解釈し、離散時間シグネチャと粗経路理論の最近の結果に基づいてそれらを解析する。
  論文  参考訳（メタデータ） (2022-01-19T12:40:28Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。