論文の概要: ReLU activated Multi-Layer Neural Networks trained with Mixed Integer Linear Programs

• arxiv url: http://arxiv.org/abs/2008.08386v3
• Date: Fri, 9 Apr 2021 07:19:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 08:51:25.120263
• Title: ReLU activated Multi-Layer Neural Networks trained with Mixed Integer Linear Programs
• Title（参考訳）: 混合整数線形プログラムを用いたReLU活性化多層ニューラルネットワーク
• Authors: Steffen Goebbels
• Abstract要約: ReLU関数によって活性化される多層フィードフォワードニューラルネットワークは、MILP(Mixed Linear Programs)を用いて反復的に訓練することができる アルゴリズムは出力層から始まり、第1の隠蔽層に情報を伝達し、MILPや線形プログラムを使って重みを調整する。 本手法は手書き数字を含むMNISTデータセット上の2つの単純なネットワークを用いて,flow/Keras (Adam) との比較を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, it is demonstrated through a case study that multilayer feedforward neural networks activated by ReLU functions can in principle be trained iteratively with Mixed Integer Linear Programs (MILPs) as follows. Weights are determined with batch learning. Multiple iterations are used per batch of training data. In each iteration, the algorithm starts at the output layer and propagates information back to the first hidden layer to adjust the weights using MILPs or Linear Programs. For each layer, the goal is to minimize the difference between its output and the corresponding target output. The target output of the last (output) layer is equal to the ground truth. The target output of a previous layer is defined as the adjusted input of the following layer. For a given layer, weights are computed by solving a MILP. Then, except for the first hidden layer, the input values are also modified with a MILP to better match the layer outputs to their corresponding target outputs. The method was tested and compared with Tensorflow/Keras (Adam optimizer) using two simple networks on the MNIST dataset containing handwritten digits. Accuracies of the same magnitude as with Tensorflow/Keras were achieved.
• Abstract（参考訳）: 本稿では、ReLU関数によって活性化される多層フィードフォワードニューラルネットワークが、原則として、Mixed Integer Linear Programs (MILP) を用いて反復的に訓練可能であることを示す。 重み付けはバッチ学習によって決定される。 トレーニングデータのバッチ毎に複数のイテレーションが使用される。 各イテレーションにおいて、アルゴリズムは出力層から始まり、第1の隠蔽層に情報を伝達し、MILPまたは線形プログラムを使用して重みを調整する。 各レイヤの目標は、出力と対応するターゲット出力との差を最小限にすることである。 最後の(出力)層の目標出力は、基底真理と等しい。 前の層の目標出力は、以下の層の調整入力として定義される。 与えられた層に対して、重量はミルプを解いて計算される。 そして、第1の隠蔽層を除いて、入力値もMILPで修正され、層出力と対応するターゲット出力とをよりよく一致させる。 本手法を手書き数字を含むMNISTデータセット上の2つの単純なネットワークを用いて,Tensorflow/Keras (Adam Optimizationr) と比較した。 テンソルフロー/ケラスと同等の精度を達成した。

関連論文リスト

• BALI: Learning Neural Networks via Bayesian Layerwise Inference [6.7819070167076045]
  我々はベイズニューラルネットワークを学習し,それを多変量ベイズ線形回帰モデルのスタックとして扱う新しい手法を提案する。 主なアイデアは、各レイヤの目標出力を正確に知っていれば、階層的に後方に推論することである。 これらの擬似ターゲットをフォワードパスから出力する層として定義し、対象関数のバックプロパゲーションによって更新する。
  論文  参考訳（メタデータ） (2024-11-18T22:18:34Z)
• Automated Sizing and Training of Efficient Deep Autoencoders using Second Order Algorithms [0.46040036610482665]
  一般化線形分類器の多段階学習法を提案する。 検証エラーは不要な入力のプルーニングによって最小化される。 所望の出力は、Ho-Kashyapルールに似た方法で改善される。
  論文  参考訳（メタデータ） (2023-08-11T16:48:31Z)
• Fire Together Wire Together: A Dynamic Pruning Approach with Self-Supervised Mask Prediction [12.86325214182021]
  動的モデルプルーニング(Dynamic Model pruning)は、デプロイ中の各入力サンプルに対する異なるサブネットワークの推測を可能にする、最近の方法である。 現在の動的手法は、間隔損失を誘導することによって正規化を通じて連続的なチャネルゲーティングを学ぶことに依存している。 我々は,CIFARおよびImageNet上で,VGG,ResNet,MobileNetなどのニューラルネットワークの実験を行った。
  論文  参考訳（メタデータ） (2021-10-15T17:39:53Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• An Effective and Efficient Initialization Scheme for Training Multi-layer Feedforward Neural Networks [5.161531917413708]
  本稿では,有名なスタインの身元に基づく新しいネットワーク初期化手法を提案する。 提案したSteinGLM法は、ニューラルネットワークのトレーニングによく使われる他の一般的な手法よりもはるかに高速で高精度であることを示す。
  論文  参考訳（メタデータ） (2020-05-16T16:17:37Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• A Multi-Scale Tensor Network Architecture for Classification and Regression [0.0]
  テンソルネットワークを用いた教師あり学習のためのアルゴリズムを提案する。 我々はウェーブレット変換の連続を通して粗粒化によってデータを前処理するステップを採用する。 ネットワークを通しての細粒化がモデルの初期化にどのように利用されるかを示す。
  論文  参考訳（メタデータ） (2020-01-22T21:26:28Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。