論文の概要: Structured Pruning of Neural Networks for Constraints Learning
- arxiv url: http://arxiv.org/abs/2307.07457v1
- Date: Fri, 14 Jul 2023 16:36:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-17 13:14:14.146782
- Title: Structured Pruning of Neural Networks for Constraints Learning
- Title（参考訳）: 制約学習のためのニューラルネットワークの構造的プルーニング
- Authors: Matteo Cacciola and Antonio Frangioni and Andrea Lodi
- Abstract要約: MIPへの統合に先立って,これらの手法の1つであるプルーニングの有効性を示す。
我々は、複数の層を持つフィードフォワードニューラルネットワークを用いて実験を行い、敵の例を構築した。
以上の結果から,プルーニングは最終決定の質を損なうことなく,解時間を大幅に短縮することを示した。
- 参考スコア（独自算出の注目度）: 5.689013857168641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, the integration of Machine Learning (ML) models with
Operation Research (OR) tools has gained popularity across diverse
applications, including cancer treatment, algorithmic configuration, and
chemical process optimization. In this domain, the combination of ML and OR
often relies on representing the ML model output using Mixed Integer
Programming (MIP) formulations. Numerous studies in the literature have
developed such formulations for many ML predictors, with a particular emphasis
on Artificial Neural Networks (ANNs) due to their significant interest in many
applications. However, ANNs frequently contain a large number of parameters,
resulting in MIP formulations that are impractical to solve, thereby impeding
scalability. In fact, the ML community has already introduced several
techniques to reduce the parameter count of ANNs without compromising their
performance, since the substantial size of modern ANNs presents challenges for
ML applications as it significantly impacts computational efforts during
training and necessitates significant memory resources for storage. In this
paper, we showcase the effectiveness of pruning, one of these techniques, when
applied to ANNs prior to their integration into MIPs. By pruning the ANN, we
achieve significant improvements in the speed of the solution process. We
discuss why pruning is more suitable in this context compared to other ML
compression techniques, and we identify the most appropriate pruning
strategies. To highlight the potential of this approach, we conduct experiments
using feed-forward neural networks with multiple layers to construct
adversarial examples. Our results demonstrate that pruning offers remarkable
reductions in solution times without hindering the quality of the final
decision, enabling the resolution of previously unsolvable instances.
- Abstract（参考訳）: 近年、機械学習(ML)モデルとオペレーティングリサーチ(OR)ツールの統合は、がん治療、アルゴリズム構成、化学プロセス最適化など、さまざまなアプリケーションで人気を集めている。
このドメインでは、MLとORの組み合わせは、しばしばMIP(Mixed Integer Programming)の定式化を使用してMLモデルの出力を表現することに依存する。
文献における多くの研究は、多くのml予測器のためのそのような定式化を開発しており、特に人工知能ネットワーク(anns)に重点を置いている。
しかし、ANNは頻繁に多数のパラメータを含むため、解けないMIPの定式化によってスケーラビリティが阻害される。
実際、MLコミュニティはすでに、ANNのパラメータ数を減らし、パフォーマンスを損なうことなく、いくつかのテクニックを導入している。
本稿では,これらの手法の1つであるプルーニング(pruning)が,mipsに統合される前にannに適用される場合の有効性について紹介する。
ANNを刈り取ることで、ソリューションプロセスのスピードを大幅に改善します。
我々は,他のML圧縮手法と比較して,この文脈でプルーニングが適している理由を論じ,最も適切なプルーニング戦略を特定する。
このアプローチの可能性を強調するために,複数の層を有するフィードフォワードニューラルネットワークを用いて,逆の例を構築する実験を行う。
以上の結果から,プルーニングは最終決定の質を損なうことなく解時間を大幅に短縮し,未解決インスタンスの解決を可能にした。
関連論文リスト
- FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-08-15T16:45:16Z) - Common pitfalls to avoid while using multiobjective optimization in machine learning [1.2499537119440245]
機械学習(ML)における多目的最適化(MOO)の適用の探求への関心が高まっている。
その可能性にもかかわらず、MOOを使いたいML実践者のエントリーレベルガイドとして機能する十分な文献が不足している。
従来の研究、特に深層学習におけるMOO(物理情報ニューラルネットワーク(PINN)を手がかりに)に関する研究を批判的にレビューし、MLにおけるMOOの原則をよりよく把握する必要性を強調した誤解を特定する。
論文 参考訳（メタデータ） (2024-05-02T17:12:25Z) - Deep learning enhanced mixed integer optimization: Learning to reduce model dimensionality [0.0]
この研究は、Mixed-Integer Programmingに固有の計算複雑性に対処するフレームワークを導入する。
ディープラーニングを利用することで、MIPインスタンス間の共通構造を特定し、活用する問題固有モデルを構築する。
本稿では,モデルの堅牢性と一般化性を高める合成データを生成するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-17T19:15:13Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Computational Tradeoffs of Optimization-Based Bound Tightening in ReLU
Networks [4.01907644010256]
ニューラルネットワークをRectified Linear Unit(ReLU)アクティベーションで表現するMILP(Mixed-Integer Linear Programming)モデルは、ここ10年で急速に普及している。
これにより、MILP技術を用いて、テストまたはストレス・サービヘイビアを行い、トレーニングを逆向きに改善し、予測力を活かした最適化モデルに組み込むことが可能になった。
ネットワーク構造、正規化、ラウンドリングの影響に基づき、これらのモデルを実装するためのガイドラインを提供する。
論文 参考訳（メタデータ） (2023-12-27T19:32:59Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Deep learning applied to computational mechanics: A comprehensive
review, state of the art, and the classics [77.34726150561087]
人工知能,特に深層学習(DL)の最近の進歩を概観する。
ハイブリッドおよび純粋機械学習(ML)の手法について論じる。
AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
論文 参考訳（メタデータ） (2022-12-18T02:03:00Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳（メタデータ） (2021-11-29T09:30:06Z) - A New Clustering-Based Technique for the Acceleration of Deep
Convolutional Networks [2.7393821783237184]
MCA(Model Compression and Acceleration)技術は、大規模な事前学習ネットワークをより小さなモデルに変換するために用いられる。
本稿では,採用したセントロイド/表現量を増やすクラスタリングに基づく手法を提案する。
これは、被雇用者に対して特別な構造を課すことによって達成され、これは、目の前の問題の特異性によって実現される。
論文 参考訳（メタデータ） (2021-07-19T18:22:07Z) - Multi-Domain Learning by Meta-Learning: Taking Optimal Steps in
Multi-Domain Loss Landscapes by Inner-Loop Learning [5.490618192331097]
マルチモーダルアプリケーションのためのマルチドメイン学習問題に対するモデル非依存の解法を考える。
我々の手法はモデルに依存しないため、追加のモデルパラメータやネットワークアーキテクチャの変更は不要である。
特に、ホワイトマター高輝度の自動セグメンテーションにおける医療画像のフィッティング問題に対するソリューションを実証します。
論文 参考訳（メタデータ） (2021-02-25T19:54:44Z) - Ps and Qs: Quantization-aware pruning for efficient low latency neural
network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。
量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文 参考訳（メタデータ） (2021-02-22T19:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。