論文の概要: Taming Binarized Neural Networks and Mixed-Integer Programs
- arxiv url: http://arxiv.org/abs/2310.04469v3
- Date: Wed, 20 Dec 2023 12:14:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 12:44:24.112517
- Title: Taming Binarized Neural Networks and Mixed-Integer Programs
- Title(参考訳): 二元化ニューラルネットワークと混合整数プログラムのモデリング
- Authors: Johannes Aspman and Georgios Korpas and Jakub Marecek
- Abstract要約: バイナライズされたニューラルネットワークはテーム表現を許容することを示す。
これにより、Bolte et al. のフレームワークを暗黙の微分に使用できる。
このアプローチは、より広範な混合整数プログラムのクラスにも使用することができる。
- 参考スコア(独自算出の注目度): 2.7624021966289596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There has been a great deal of recent interest in binarized neural networks,
especially because of their explainability. At the same time, automatic
differentiation algorithms such as backpropagation fail for binarized neural
networks, which limits their applicability. By reformulating the problem of
training binarized neural networks as a subadditive dual of a mixed-integer
program, we show that binarized neural networks admit a tame representation.
This, in turn, makes it possible to use the framework of Bolte et al. for
implicit differentiation, which offers the possibility for practical
implementation of backpropagation in the context of binarized neural networks.
This approach could also be used for a broader class of mixed-integer
programs, beyond the training of binarized neural networks, as encountered in
symbolic approaches to AI and beyond.
- Abstract(参考訳): バイナリ化されたニューラルネットワークには、特にその説明可能性のために、近年多くの関心が寄せられている。
同時に、バックプロパゲーションのような自動微分アルゴリズムは二項化ニューラルネットワークでは失敗し、適用性が制限される。
二元化ニューラルネットワークを混合整数プログラムの副加法双対として訓練する問題を再構成することにより、二元化ニューラルネットワークが多元化表現を許容することを示す。
これにより、両立型ニューラルネットワークの文脈でバックプロパゲーションを実際に実装する可能性を提供する暗黙的な分化のために、bolteなどのフレームワークを使うことができる。
このアプローチは、AIなどに対する象徴的なアプローチで見られるように、二項化ニューラルネットワークのトレーニングを超えて、より広範な混合整数プログラムに使用することもできる。
関連論文リスト
- Closed-Form Interpretation of Neural Network Classifiers with Symbolic
Regression Gradients [0.7832189413179361]
ニューラルネットワークに基づく回帰とは対照的に、分類において、ニューラルネットワークからシンボル方程式への1対1マッピングを見つけることは一般的に不可能である。
トレーニングされたニューラルネットワークを、同じ量に基づいて決定を下す同値関数のクラスに組み込みます。
この等価クラスと記号回帰の探索空間で定義される人間可読方程式の交点を見つけることによってニューラルネットワークを解釈する。
論文 参考訳(メタデータ) (2024-01-10T07:47:42Z) - NeurASP: Embracing Neural Networks into Answer Set Programming [5.532477732693001]
NeurASPは、ニューラルネットワークを採用することで、応答セットプログラムの単純な拡張である。
ニューラルネットワーク出力を応答集合プログラムの原子事実上の確率分布として扱うことにより、NeurASPはサブシンボリックおよびシンボリック計算を統合するためのシンプルで効果的な方法を提供する。
論文 参考訳(メタデータ) (2023-07-15T04:03:17Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - Bayesian Neural Networks: Essentials [0.6091702876917281]
複雑なため、ベイズニューラルネットワークを理解し、設計し、訓練するのは簡単ではない。
ディープニューラルネットワークは、多数の連続するレイヤの不確実性を考慮するために、冗長でコストがかかる。
ハイブリッドベイズニューラルネットワーク(英語版)は、ネットワーク内に法的に位置する確率的層がほとんどないが、実用的な解決策を提供する。
論文 参考訳(メタデータ) (2021-06-22T13:54:17Z) - Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。
このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。
我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
論文 参考訳(メタデータ) (2021-03-05T08:45:43Z) - Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
過パラメータのニューラルネットワークが制約を満たしていることを示す。
公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
論文 参考訳(メタデータ) (2020-12-30T18:46:50Z) - A biologically plausible neural network for local supervision in
cortical microcircuits [17.00937011213428]
我々は、明示的なエラーやバックプロパゲーションを避けるニューラルネットワークを訓練するためのアルゴリズムを導出する。
我々のアルゴリズムは、大脳皮質の接続構造や学習規則に顕著な類似性を持つニューラルネットワークにマップする。
論文 参考訳(メタデータ) (2020-11-30T17:35:22Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳(メタデータ) (2020-06-24T02:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。