論文の概要: Taming Binarized Neural Networks and Mixed-Integer Programs

• arxiv url: http://arxiv.org/abs/2310.04469v1
• Date: Thu, 5 Oct 2023 21:04:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 18:32:14.319600
• Title: Taming Binarized Neural Networks and Mixed-Integer Programs
• Title（参考訳）: 二元化ニューラルネットワークと混合整数プログラムのモデリング
• Authors: Johannes Aspman, Georgios Korpas, Jakub Marecek
• Abstract要約: バイナライズされたニューラルネットワークはテーム表現を許容することを示す。 これにより、Bolte et al. のフレームワークを暗黙の微分に使用できる。 このアプローチは、より広範な混合整数プログラムのクラスにも使用することができる。
• 参考スコア（独自算出の注目度）: 2.7624021966289596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been a great deal of recent interest in binarized neural networks, especially because of their explainability. At the same time, automatic differentiation algorithms such as backpropagation fail for binarized neural networks, which limits their applicability. By reformulating the problem of training binarized neural networks as a subadditive dual of a mixed-integer program, we show that binarized neural networks admit a tame representation. This, in turn, makes it possible to use the framework of Bolte et al. for implicit differentiation, which offers the possibility for practical implementation of backpropagation in the context of binarized neural networks. This approach could also be used for a broader class of mixed-integer programs, beyond the training of binarized neural networks, as encountered in symbolic approaches to AI and beyond.
• Abstract（参考訳）: バイナリ化されたニューラルネットワークには、特にその説明可能性のために、近年多くの関心が寄せられている。 同時に、バックプロパゲーションのような自動微分アルゴリズムは二項化ニューラルネットワークでは失敗し、適用性が制限される。 二元化ニューラルネットワークを混合整数プログラムの副加法双対として訓練する問題を再構成することにより、二元化ニューラルネットワークが多元化表現を許容することを示す。 これにより、両立型ニューラルネットワークの文脈でバックプロパゲーションを実際に実装する可能性を提供する暗黙的な分化のために、bolteなどのフレームワークを使うことができる。 このアプローチは、AIなどに対する象徴的なアプローチで見られるように、二項化ニューラルネットワークのトレーニングを超えて、より広範な混合整数プログラムに使用することもできる。

関連論文リスト

• An experimental comparative study of backpropagation and alternatives for training binary neural networks for image classification [1.0749601922718608]
  バイナリニューラルネットワークは、ディープニューラルネットワークモデルのサイズを減らすことを約束する。 より強力なモデルをエッジデバイスにデプロイすることも可能だ。 しかしながら、バイナリニューラルネットワークは、バックプロパゲーションに基づく勾配降下法を用いて訓練することが依然として難しいことが証明されている。
  論文  参考訳（メタデータ） (2024-08-08T13:39:09Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Closed-Form Interpretation of Neural Network Classifiers with Symbolic Gradients [0.7832189413179361]
  人工ニューラルネットワークにおいて、任意の単一ニューロンのクローズドフォーム解釈を見つけるための統一的なフレームワークを紹介します。 ニューラルネットワーク分類器を解釈して、決定境界に符号化された概念のクローズドフォーム表現を明らかにする。
  論文  参考訳（メタデータ） (2024-01-10T07:47:42Z)
• NeurASP: Embracing Neural Networks into Answer Set Programming [5.532477732693001]
  NeurASPは、ニューラルネットワークを採用することで、応答セットプログラムの単純な拡張である。 ニューラルネットワーク出力を応答集合プログラムの原子事実上の確率分布として扱うことにより、NeurASPはサブシンボリックおよびシンボリック計算を統合するためのシンプルで効果的な方法を提供する。
  論文  参考訳（メタデータ） (2023-07-15T04:03:17Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
  我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。 このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。 我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-03-05T08:45:43Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)
• A biologically plausible neural network for local supervision in cortical microcircuits [17.00937011213428]
  我々は、明示的なエラーやバックプロパゲーションを避けるニューラルネットワークを訓練するためのアルゴリズムを導出する。 我々のアルゴリズムは、大脳皮質の接続構造や学習規則に顕著な類似性を持つニューラルネットワークにマップする。
  論文  参考訳（メタデータ） (2020-11-30T17:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。