論文の概要: Optimal training of integer-valued neural networks with mixed integer programming

• arxiv url: http://arxiv.org/abs/2009.03825v4
• Date: Tue, 21 Jun 2022 13:58:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 21:05:19.917705
• Title: Optimal training of integer-valued neural networks with mixed integer programming
• Title（参考訳）: 混合整数プログラミングを用いた整数値ニューラルネットワークの最適学習
• Authors: T\'omas Thorbjarnarson and Neil Yorke-Smith
• Abstract要約: 我々は、トレーニング効率を改善し、整数値ニューラルネットワーク(INN)の重要なクラスをトレーニングできる新しいMIPモデルを開発した。 MIPソルバがトレーニングに使用できるデータ量を劇的に増加させるバッチトレーニング方法を提案する。 実世界の2つのデータ制限データセットによる実験結果から,我々の手法は,NNをMIPでトレーニングする際の従来の手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 2.528056693920671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown potential in using Mixed Integer Programming (MIP) solvers to optimize certain aspects of neural networks (NNs). However the intriguing approach of training NNs with MIP solvers is under-explored. State-of-the-art-methods to train NNs are typically gradient-based and require significant data, computation on GPUs, and extensive hyper-parameter tuning. In contrast, training with MIP solvers does not require GPUs or heavy hyper-parameter tuning, but currently cannot handle anything but small amounts of data. This article builds on recent advances that train binarized NNs using MIP solvers. We go beyond current work by formulating new MIP models which improve training efficiency and which can train the important class of integer-valued neural networks (INNs). We provide two novel methods to further the potential significance of using MIP to train NNs. The first method optimizes the number of neurons in the NN while training. This reduces the need for deciding on network architecture before training. The second method addresses the amount of training data which MIP can feasibly handle: we provide a batch training method that dramatically increases the amount of data that MIP solvers can use to train. We thus provide a promising step towards using much more data than before when training NNs using MIP models. Experimental results on two real-world data-limited datasets demonstrate that our approach strongly outperforms the previous state of the art in training NN with MIP, in terms of accuracy, training time and amount of data. Our methodology is proficient at training NNs when minimal training data is available, and at training with minimal memory requirements -- which is potentially valuable for deploying to low-memory devices.
• Abstract（参考訳）: 最近の研究は、ニューラルネットワーク(NN)の特定の側面を最適化するためにMIP(Mixed Integer Programming)ソルバを使用することの可能性を示している。 しかし、MIPソルバを用いたNNのトレーニングの興味深いアプローチは、未調査である。 NNをトレーニングするための最先端の手法は、通常勾配ベースであり、重要なデータ、GPU上の計算、広範囲なハイパーパラメータチューニングを必要とする。 対照的に、mipソルバによるトレーニングはgpuや重いハイパーパラメータチューニングを必要としないが、現時点では少量のデータしか扱えない。 本稿は、MIPソルバを用いて二項化NNを訓練する最近の進歩に基づく。 我々は、トレーニング効率を改善し、整数値ニューラルネットワーク(INN)の重要なクラスをトレーニングできる新しいMIPモデルを定式化することで、現在の作業を超えています。 NNのトレーニングにMIPを用いることの意義を高めるために,2つの新しい手法を提案する。 最初の方法は、トレーニング中にNN内のニューロン数を最適化する。 これにより、トレーニング前にネットワークアーキテクチャを決定する必要がなくなる。 第2の方法は、MIPが処理可能なトレーニングデータの量に対処し、MIPソルバがトレーニングに使用できるデータ量を劇的に増加させるバッチトレーニング方法を提供する。 MIPモデルを用いたNNのトレーニングでは,これまでよりもはるかに多くのデータの利用が期待できる。 2つの実世界のデータ制限データセットの実験結果は、精度、トレーニング時間、データ量の観点から、我々のアプローチがnnをmipでトレーニングする前の技術を大きく上回っていることを示している。 私たちの方法論は、最小限のトレーニングデータが利用可能である場合のNNのトレーニングや、最小限のメモリ要件によるトレーニングに長けています。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Minibatch training of neural network ensembles via trajectory sampling [0.0]
  また,ニューラルネットアンサンブル(NNE)をトラジェクトリ法により高精度に学習するためにも,ミニバッチアプローチが有効であることを示す。 MNISTデータセット内の画像を分類するためにNNEを訓練することで、このアプローチを説明する。
  論文  参考訳（メタデータ） (2023-06-23T11:12:33Z)
• Transferring Learning Trajectories of Neural Networks [2.2299983745857896]
  深層ニューラルネットワーク(DNN)のトレーニングには計算コストがかかる。 我々は、与えられた学習軌跡を1つの初期パラメータから別のパラメータへ"転送する"という問題を定式化する。 移動パラメータが直接トレーニングの前に非自明な精度を達成できることを実証的に示し、スクラッチからトレーニングするよりもはるかに高速に訓練できることを実証した。
  論文  参考訳（メタデータ） (2023-05-23T14:46:32Z)
• Multi-Objective Linear Ensembles for Robust and Sparse Training of Few-Bit Neural Networks [5.246498560938275]
  BNN(Binarized Neural Networks)とINN(Neural Networks)を併用した,数ビット離散値ニューラルネットワークの事例について検討する。 コントリビューションは、可能なクラスごとにひとつのNNをトレーニングし、最終的な出力を予測するために多数決方式を適用する、多目的アンサンブルアプローチである。 我々は,このBeMiアプローチを,BNN学習に焦点をあてた問題解決型NNトレーニングと勾配型トレーニングの最先端技術と比較する。
  論文  参考訳（メタデータ） (2022-12-07T14:23:43Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• NN-EMD: Efficiently Training Neural Networks using Encrypted Multi-Sourced Datasets [7.067870969078555]
  暗号化データセット上で機械学習モデルをトレーニングすることは、プライバシ保護機械学習タスクに対処するための、既存の有望なアプローチである。 複数の情報源から収集された複数のデータセット上でディープニューラルネットワーク(DNN)モデルをトレーニングするための新しいフレームワークであるNN-EMDを提案する。 MNISTデータセットのトレーニング時間とモデル精度について,本フレームワークの性能評価を行った。
  論文  参考訳（メタデータ） (2020-12-18T23:01:20Z)
• The training accuracy of two-layer neural networks: its estimation and understanding using random datasets [0.0]
  本研究では,空間分割に基づく新しい理論を提案し,ランダムデータセット上の2層ニューラルネットワークのトレーニング精度をトレーニングなしで推定する。 提案手法は,3つの引数のみを用いて,2種類のランダムデータセット上での2層完全連結ニューラルネットワークのトレーニング精度を推定する。
  論文  参考訳（メタデータ） (2020-10-26T07:21:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。