Fugu-MT 論文翻訳(概要): An Integer Programming Approach to Deep Neural Networks with Binary Activation Functions

論文の概要: An Integer Programming Approach to Deep Neural Networks with Binary Activation Functions

arxiv url: http://arxiv.org/abs/2007.03326v3
Date: Fri, 7 Aug 2020 15:33:05 GMT
ステータス: 処理完了
システム内更新日: 2022-11-12 18:39:17.844735
Title: An Integer Programming Approach to Deep Neural Networks with Binary Activation Functions
Title（参考訳）: 二元活性化関数を持つディープニューラルネットワークに対する整数計画法
Authors: Bubacarr Bah, Jannis Kurtz
Abstract要約: バイナリアクティベーション機能を持つディープニューラルネットワーク(BDNN)について検討する。 BDNNは,古典的プログラム解法により大域的最適性に解決可能な混合整数線形プログラムとして再構成可能であることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study deep neural networks with binary activation functions (BDNN), i.e. the activation function only has two states. We show that the BDNN can be reformulated as a mixed-integer linear program which can be solved to global optimality by classical integer programming solvers. Additionally, a heuristic solution algorithm is presented and we study the model under data uncertainty, applying a two-stage robust optimization approach. We implemented our methods on random and real datasets and show that the heuristic version of the BDNN outperforms classical deep neural networks on the Breast Cancer Wisconsin dataset while performing worse on random data.
Abstract（参考訳）: 二元活性化関数 (BDNN) を持つディープニューラルネットワークについて検討し, 活性化関数は2つの状態しか持たないことを示した。 BDNNは,古典的整数計画解法により大域的最適に解ける混合整数線形プログラムとして再構成可能であることを示す。さらに, ヒューリスティック解法を提案し, 2段階ロバスト最適化手法を適用し, データの不確実性を考慮したモデルの検討を行った。 bdnnのヒューリスティックなバージョンは、ランダムなデータでさらに悪い処理をしながら、乳がんウィスコンシンのデータセット上の古典的なディープニューラルネットワークよりも優れています。

関連論文リスト

The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文参考訳（メタデータ） (2023-03-09T10:08:34Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
0/1 Deep Neural Networks via Block Coordinate Descent [40.11141921215105]
ステップ関数は、ディープニューラルネットワーク(DNN)における最も単純かつ最も自然な活性化関数の1つである正の変数は 1 で、他の変数は 0 であるので、本質的な特性(例えば、不連続性や下位段階の情報がないなど)は数十年にわたってその発展を妨げる。
論文参考訳（メタデータ） (2022-06-19T11:12:30Z)
Deep Neural Network Classifier for Multi-dimensional Functional Data [4.340040784481499]
我々は,多次元関数型データを分類するFDNN(Functional Deep Neural Network)と呼ばれる新しい手法を提案する。具体的には、将来のデータ関数のクラスラベルを予測するために使用されるトレーニングデータの原則コンポーネントに基づいて、ディープニューラルネットワークをトレーニングする。
論文参考訳（メタデータ） (2022-05-17T19:22:48Z)
Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文参考訳（メタデータ） (2021-12-13T20:50:54Z)
Efficient and Robust Mixed-Integer Optimization Methods for Training Binarized Deep Neural Networks [0.07614628596146598]
二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。 BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
論文参考訳（メタデータ） (2021-10-21T18:02:58Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
A Neural Network Approach for Online Nonlinear Neyman-Pearson Classification [3.6144103736375857]
論文の中では,オンラインと非線形の両方で初となる新しいNeyman-Pearson(NP)分類器を提案する。提案する分類器は、オンライン方式でバイナリラベル付きデータストリーム上で動作し、ユーザが指定し、制御可能な偽陽性率の検出能力を最大化する。提案アルゴリズムは大規模データアプリケーションに適しており,実時間処理による偽陽性率制御性を実現している。
論文参考訳（メタデータ） (2020-06-14T20:00:25Z)
Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文参考訳（メタデータ） (2020-05-13T13:25:51Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。