論文の概要: Model-based feature selection for neural networks: A mixed-integer programming approach

• arxiv url: http://arxiv.org/abs/2302.10344v1
• Date: Mon, 20 Feb 2023 22:19:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 17:02:13.372751
• Title: Model-based feature selection for neural networks: A mixed-integer programming approach
• Title（参考訳）: ニューラルネットワークのためのモデルに基づく特徴選択:混合整数プログラミングアプローチ
• Authors: Shudian Zhao, Calvin Tsay, Jan Kronqvist
• Abstract要約: 我々は、ReLUに基づくディープニューラルネットワーク(DNN)のための新しい入力特徴選択フレームワークを開発する。 提示の明確化のための画像分類のための入力特徴の発見に焦点をあてる。 提案した入力特徴選択により,適切な分類精度を維持しつつ,入力のサイズを$sim$15%に劇的に削減できることを示す。
• 参考スコア（独自算出の注目度）: 0.9281671380673306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we develop a novel input feature selection framework for ReLU-based deep neural networks (DNNs), which builds upon a mixed-integer optimization approach. While the method is generally applicable to various classification tasks, we focus on finding input features for image classification for clarity of presentation. The idea is to use a trained DNN, or an ensemble of trained DNNs, to identify the salient input features. The input feature selection is formulated as a sequence of mixed-integer linear programming (MILP) problems that find sets of sparse inputs that maximize the classification confidence of each category. These ''inverse'' problems are regularized by the number of inputs selected for each category and by distribution constraints. Numerical results on the well-known MNIST and FashionMNIST datasets show that the proposed input feature selection allows us to drastically reduce the size of the input to $\sim$15\% while maintaining a good classification accuracy. This allows us to design DNNs with significantly fewer connections, reducing computational effort and producing DNNs that are more robust towards adversarial attacks.
• Abstract（参考訳）: 本研究では,混合整数最適化手法を基盤とした,reluベースのディープニューラルネットワーク(dnns)のための新しい入力特徴選択フレームワークを開発した。 本手法は, 様々な分類タスクに適用できるが, 画像分類のための入力特徴の探索とプレゼンテーションの明確化に焦点をあてる。 そのアイデアは、訓練されたDNNまたは訓練されたDNNのアンサンブルを使用して、適切な入力機能を特定することである。 入力特徴選択は、各カテゴリの分類信頼性を最大化するスパース入力の集合を求める混合整数線形プログラミング(MILP)問題の列として定式化される。 これらの「逆」問題は、カテゴリごとに選択された入力数と分布制約によって正規化される。 有名なMNISTデータセットとFashionMNISTデータセットの数値結果から,提案した入力特徴の選択により,高い分類精度を維持しつつ,入力サイズを$\sim$15\%に劇的に削減できることがわかった。 これにより、接続が大幅に少ないDNNを設計し、計算労力を削減し、敵攻撃に対してより堅牢なDNNを作成できる。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Feed-Forward Neural Networks as a Mixed-Integer Program [0.0]
  本研究は手書き桁分類モデルを用いた実験を通じて提案手法の訓練と評価に焦点をあてる。 この研究は、トレーニングされたReLU NNの性能を評価し、NNのトレーニングプロセスの強化におけるMIP定式化の有効性に光を当てる。
  論文  参考訳（メタデータ） (2024-02-09T02:23:37Z)
• Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
  ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。 低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-01T13:47:09Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Verification-Aided Deep Ensemble Selection [4.290931412096984]
  ディープニューラルネットワーク(DNN)は、様々な複雑なタスクを実現するための選択技術となっている。 正しく分類された入力に対する知覚できない摂動でさえ、DNNによる誤分類につながる可能性がある。 本稿では,同時エラーの少ないアンサンブル構成を同定するための方法論を考案する。
  論文  参考訳（メタデータ） (2022-02-08T14:36:29Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• Efficient and Robust Mixed-Integer Optimization Methods for Training Binarized Deep Neural Networks [0.07614628596146598]
  二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。 BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。 トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
  論文  参考訳（メタデータ） (2021-10-21T18:02:58Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• File Classification Based on Spiking Neural Networks [0.5065947993017157]
  スパイクニューラルネットワーク(SNN)に基づく大規模データセットにおけるファイル分類システムを提案する。 提案システムは、推論タスクに対する古典的機械学習アルゴリズムの代替として有効なものである可能性がある。
  論文  参考訳（メタデータ） (2020-04-08T11:50:29Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。