論文の概要: Feed-Forward Neural Networks as a Mixed-Integer Program

• arxiv url: http://arxiv.org/abs/2402.06697v1
• Date: Fri, 9 Feb 2024 02:23:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 19:43:37.567035
• Title: Feed-Forward Neural Networks as a Mixed-Integer Program
• Title（参考訳）: 混合整数プログラムとしてのフィードフォワードニューラルネットワーク
• Authors: Navid Aftabi and Nima Moradi and Fatemeh Mahroo
• Abstract要約: 本研究は手書き桁分類モデルを用いた実験を通じて提案手法の訓練と評価に焦点をあてる。 この研究は、トレーニングされたReLU NNの性能を評価し、NNのトレーニングプロセスの強化におけるMIP定式化の有効性に光を当てる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are widely studied in various applications. A DNN consists of layers of neurons that compute affine combinations, apply nonlinear operations, and produce corresponding activations. The rectified linear unit (ReLU) is a typical nonlinear operator, outputting the max of its input and zero. In scenarios like max pooling, where multiple input values are involved, a fixed-parameter DNN can be modeled as a mixed-integer program (MIP). This formulation, with continuous variables representing unit outputs and binary variables for ReLU activation, finds applications across diverse domains. This study explores the formulation of trained ReLU neurons as MIP and applies MIP models for training neural networks (NNs). Specifically, it investigates interactions between MIP techniques and various NN architectures, including binary DNNs (employing step activation functions) and binarized DNNs (with weights and activations limited to $-1,0,+1$). The research focuses on training and evaluating proposed approaches through experiments on handwritten digit classification models. The comparative study assesses the performance of trained ReLU NNs, shedding light on the effectiveness of MIP formulations in enhancing training processes for NNs.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は様々な用途で広く研究されている。 dnnはアフィン結合を計算し、非線形演算を施し、対応する活性化を生成するニューロンの層からなる。 正則線型単位(ReLU)は典型的な非線形作用素であり、入力の最大値と0を出力する。 複数の入力値が関与する最大プールのようなシナリオでは、固定パラメータDNNを混合整数プログラム(MIP)としてモデル化することができる。 この定式化は、単位出力を表す連続変数と、ReLUアクティベーションのためのバイナリ変数によって、様々なドメインにわたるアプリケーションを見つける。 本研究では、トレーニングされたReLUニューロンをMIPとして定式化し、ニューラルネットワーク(NN)のトレーニングにMIPモデルを適用する。 具体的には、二元化DNN(ステップアクティベーション関数)や二元化DNN(ウェイトとアクティベーションが$-1,0,+1$に制限されている)など、MIP技術と様々なNNアーキテクチャ間の相互作用について検討する。 本研究は手書き桁分類モデルを用いた実験を通じて提案手法の訓練と評価に焦点をあてる。 比較研究は、トレーニングされたReLU NNの性能を評価し、NNのトレーニングプロセスの強化におけるMIP定式化の有効性に光を当てる。

関連論文リスト

• Splitting physics-informed neural networks for inferring the dynamics of integer- and fractional-order neuron models [0.0]
  分割法と物理情報ニューラルネットワーク(PINN)を組み合わせた微分方程式の前方解法を提案する。 提案手法はPINNを分割し,動的システムにPINNを適用するという課題に効果的に対処する。
  論文  参考訳（メタデータ） (2023-04-26T00:11:00Z)
• Analyzing Populations of Neural Networks via Dynamical Model Embedding [10.455447557943463]
  ディープニューラルネットワークの解釈における中核的な課題は、同じタスクのためにトレーニングされた異なるネットワークによって実装された基盤となるアルゴリズム間の共通点を特定することである。 この問題に触発されたDYNAMOは,各点がニューラルネットワークモデルに対応する低次元多様体を構築するアルゴリズムであり,対応するニューラルネットワークが同様のハイレベルな計算処理を実行する場合,その近傍に2つの点が存在する。 DYNAMOは、事前訓練されたニューラルネットワークのコレクションを入力として、隠された状態のダイナミクスとコレクション内の任意のモデルの出力をエミュレートするメタモデルを出力する。
  論文  参考訳（メタデータ） (2023-02-27T19:00:05Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Neural Born Iteration Method For Solving Inverse Scattering Problems: 2D Cases [3.795881624409311]
  本稿では,2次元逆散乱問題(ISP)に対するニューラルボルン反復法(Neural BIM)を提案する。 ニューラルBIMは独立畳み込みニューラルネットワーク(CNN)を用いて、残基に関する2つの異なる候補解の更新規則を学習する。 本論文では教師なしおよび教師なしの学習スキームを含む2つの異なるスキームについて述べる。
  論文  参考訳（メタデータ） (2021-12-18T03:22:41Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• Efficient and Robust Mixed-Integer Optimization Methods for Training Binarized Deep Neural Networks [0.07614628596146598]
  二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。 BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。 トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
  論文  参考訳（メタデータ） (2021-10-21T18:02:58Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。