論文の概要: Efficient and Robust Mixed-Integer Optimization Methods for Training Binarized Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2110.11382v1
• Date: Thu, 21 Oct 2021 18:02:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 05:21:56.692751
• Title: Efficient and Robust Mixed-Integer Optimization Methods for Training Binarized Deep Neural Networks
• Title（参考訳）: 二元化深層ニューラルネットワークの学習のための効率的・ロバスト混合整数最適化法
• Authors: Jannis Kurtz and Bubacarr Bah
• Abstract要約: 二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。 BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。 トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
• 参考スコア（独自算出の注目度）: 0.07614628596146598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compared to classical deep neural networks its binarized versions can be useful for applications on resource-limited devices due to their reduction in memory consumption and computational demands. In this work we study deep neural networks with binary activation functions and continuous or integer weights (BDNN). We show that the BDNN can be reformulated as a mixed-integer linear program with bounded weight space which can be solved to global optimality by classical mixed-integer programming solvers. Additionally, a local search heuristic is presented to calculate locally optimal networks. Furthermore to improve efficiency we present an iterative data-splitting heuristic which iteratively splits the training set into smaller subsets by using the k-mean method. Afterwards all data points in a given subset are forced to follow the same activation pattern, which leads to a much smaller number of integer variables in the mixed-integer programming formulation and therefore to computational improvements. Finally for the first time a robust model is presented which enforces robustness of the BDNN during training. All methods are tested on random and real datasets and our results indicate that all models can often compete with or even outperform classical DNNs on small network architectures confirming the viability for applications having restricted memory or computing power.
• Abstract（参考訳）: 古典的なディープニューラルネットワークと比較して、2項化されたバージョンは、メモリ消費と計算要求の減少のためにリソース制限されたデバイスに応用するのに有用である。 本研究では,二元活性化関数と連続あるいは整数重み付きディープニューラルネットワーク(BDNN)について検討する。 本稿では,bdnnを,古典的混合整数計画解法によって大域的最適性に解く有界重み空間を持つ混合整数線形プログラムとして再構成できることを示す。 さらに、局所探索ヒューリスティックが示され、局所最適ネットワークを計算する。 さらに,k-mean法を用いてトレーニングセットを小さなサブセットに反復的に分割する反復的データ分割ヒューリスティックを提案する。 その後、与えられたサブセット内のすべてのデータポイントは同じアクティベーションパターンに従わざるを得なくなり、それによって混合整数プログラミングの定式化における整数変数の数がはるかに少なくなり、計算上の改善がもたらされる。 最後に、トレーニング中にBDNNの堅牢性を強制するロバストモデルが、初めて提示される。 すべてのメソッドはランダムかつ実際のデータセット上でテストされ、この結果は、メモリや計算能力に制限のあるアプリケーションの実行可能性を確認する小さなネットワークアーキテクチャ上で、すべてのモデルが古典的なdnnと競ったり、より優れていたりすることを示している。

関連論文リスト

• Model-Based Control with Sparse Neural Dynamics [23.961218902837807]
  モデル学習と予測制御を統合した新しいフレームワークを提案する。 我々は,既存の最先端手法よりもクローズドループ性能を向上できることを示す。
  論文  参考訳（メタデータ） (2023-12-20T06:25:02Z)
• Does a sparse ReLU network training problem always admit an optimum? [0.0]
  最適解の存在は、特にスパースReLUニューラルネットワークの文脈において、必ずしも保証されないことを示す。 特に,特定の疎度パターンを持つディープネットワークにおける最適化問題は,必ずしも最適パラメータを持つとは限らないことを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:01:50Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Partitioning sparse deep neural networks for scalable training and inference [8.282177703075453]
  最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。 スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。 その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
  論文  参考訳（メタデータ） (2021-04-23T20:05:52Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• An Integer Programming Approach to Deep Neural Networks with Binary Activation Functions [0.0]
  バイナリアクティベーション機能を持つディープニューラルネットワーク(BDNN)について検討する。 BDNNは,古典的プログラム解法により大域的最適性に解決可能な混合整数線形プログラムとして再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-07T10:28:20Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。