論文の概要: Learning Aggregations of Binary Activated Neural Networks with Probabilities over Representations

• arxiv url: http://arxiv.org/abs/2110.15137v2
• Date: Fri, 29 Oct 2021 15:45:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 12:22:04.905738
• Title: Learning Aggregations of Binary Activated Neural Networks with Probabilities over Representations
• Title（参考訳）: 表現に対する確率を持つ2元活性化ニューラルネットワークの学習集約
• Authors: Louis Fortier-Dubois, Ga\"el Letarte, Benjamin Leblanc, Fran\c{c}ois Laviolette, Pascal Germain
• Abstract要約: 本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。 我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
• 参考スコア（独自算出の注目度）: 3.2840450525142666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Considering a probability distribution over parameters is known as an efficient strategy to learn a neural network with non-differentiable activation functions. We study the expectation of a probabilistic neural network as a predictor by itself, focusing on the aggregation of binary activated neural networks with normal distributions over real-valued weights. Our work leverages a recent analysis derived from the PAC-Bayesian framework that derives tight generalization bounds and learning procedures for the expected output value of such an aggregation, which is given by an analytical expression. While the combinatorial nature of the latter has been circumvented by approximations in previous works, we show that the exact computation remains tractable for deep but narrow neural networks, thanks to a dynamic programming approach. This leads us to a peculiar bound minimization learning algorithm for binary activated neural networks, where the forward pass propagates probabilities over representations instead of activation values. A stochastic counterpart of this new neural networks training scheme that scales to wider architectures is proposed.
• Abstract（参考訳）: パラメータの確率分布を考慮することは、非微分アクティベーション関数を持つニューラルネットワークを学習するための効率的な戦略として知られている。 本研究では,確率的ニューラルネットワークの予測器としての期待について検討し,実値重みの正規分布を用いた2値活性化ニューラルネットワークの集約に着目した。 我々の研究は、解析式で与えられるような集約の期待出力値に対して、厳密な一般化境界と学習手順を導出するPAC-Bayesianフレームワークに由来する最近の分析を活用している。 後者の組合せの性質は、従来の研究で近似によって回避されてきたが、動的プログラミングのアプローチのおかげで、深いが狭いニューラルネットワークでは正確な計算が計算可能であることを示す。 これにより、フォワードパスは、アクティベーション値の代わりに表現よりも確率を伝搬するバイナリ活性化ニューラルネットワークのための特異な境界最小化学習アルゴリズムが得られる。 より広いアーキテクチャにスケールする、この新しいニューラルネットワークトレーニングスキームの確率的対応が提案されている。

関連論文リスト

• Probabilistic Verification of Neural Networks using Branch and Bound [3.0567348883549816]
  ニューラルネットワークの確率的検証は、入力の確率分布の下で、ニューラルネットワークの出力を正式に解析することに関わる。 本稿では,ニューラルネットワークの確率的検証を計算アルゴリズムに基づいて定量化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-27T18:00:03Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Seeking Interpretability and Explainability in Binary Activated Neural Networks [2.828173677501078]
  本稿では、回帰タスクの文脈において、解釈可能かつ説明可能な予測子としてバイナリ活性化ニューラルネットワークを用いることについて検討する。 本稿では,特徴量,隠れニューロン,さらには重みの相対的重要性を定量化するために,SHAP値の効率的な計算法を提案する。
  論文  参考訳（メタデータ） (2022-09-07T20:11:17Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning [20.295960197612743]
  PAC-Bayesianは、後部分布における仮説の重み付け平均としてトレーニングエラーを表現できる分析フレームワークである。 PAC-Bayes学習を適用すると、収束結果がカーネルリッジ回帰の解に一致することを示す。 我々はさらに、非確率的ニューラルネットワークに対するラデマッハ複雑性に基づくバウンダリを改良した、均一なPAC-ベイズ一般化バウンダリを特徴付ける。
  論文  参考訳（メタデータ） (2022-02-04T03:49:11Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。