論文の概要: Parallelization Techniques for Verifying Neural Networks

• arxiv url: http://arxiv.org/abs/2004.08440v3
• Date: Fri, 21 Aug 2020 16:15:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 12:59:13.689371
• Title: Parallelization Techniques for Verifying Neural Networks
• Title（参考訳）: ニューラルネットワーク検証のための並列化技術
• Authors: Haoze Wu, Alex Ozdemir, Aleksandar Zelji\'c, Ahmed Irfan, Kyle Julian, Divya Gopinath, Sadjad Fouladi, Guy Katz, Corina Pasareanu and Clark Barrett
• Abstract要約: 検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
• 参考スコア（独自算出の注目度）: 52.917845265248744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by recent successes with parallel optimization techniques for solving Boolean satisfiability, we investigate a set of strategies and heuristics that aim to leverage parallel computing to improve the scalability of neural network verification. We introduce an algorithm based on partitioning the verification problem in an iterative manner and explore two partitioning strategies, that work by partitioning the input space or by case splitting on the phases of the neuron activations, respectively. We also introduce a highly parallelizable pre-processing algorithm that uses the neuron activation phases to simplify the neural network verification problems. An extensive experimental evaluation shows the benefit of these techniques on both existing benchmarks and new benchmarks from the aviation domain. A preliminary experiment with ultra-scaling our algorithm using a large distributed cloud-based platform also shows promising results.
• Abstract（参考訳）: ブール適合性を解決するための並列最適化手法による最近の成功に触発されて、並列コンピューティングを活用してニューラルネットワーク検証のスケーラビリティを向上させるための一連の戦略とヒューリスティックについて検討する。 本稿では, 検証問題を反復的に分割するアルゴリズムを導入し, 入力空間を分割するか, ニューロン活性化の相をケース分割するかの2つの分割戦略を探索する。 また,ニューラルネットワークの検証問題を単純化するために,ニューロン活性化相を用いた高度に並列化可能な前処理アルゴリズムを導入する。 大規模な実験的評価は、既存のベンチマークと航空分野の新しいベンチマークの両方におけるこれらの技術の利点を示している。 大規模分散クラウドベースのプラットフォームを用いてアルゴリズムを超スケールする予備実験も有望な結果を示した。

関連論文リスト

• [Experiments & Analysis] Evaluating the Feasibility of Sampling-Based Techniques for Training Multilayer Perceptrons [10.145355763143218]
  ディープニューラルネットワークのトレーニング時間を高速化するためのサンプリングベースのテクニックがいくつか提案されている。 これらのテクニックは、2つのカテゴリに分類される: (i) 隠れたレイヤのノードのサブセットをイテレーション毎にアクティブにサンプリングし、 (ii) 現在のレイヤのアクティベーションを近似するために、前のレイヤからノードのサブセットをサンプリングする。 本稿では,計算資源が限られているCPUマシンにおいて,これらの手法の有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-15T17:19:48Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• Ada-SISE: Adaptive Semantic Input Sampling for Efficient Explanation of Convolutional Neural Networks [26.434705114982584]
  畳み込みニューラルネットワークの効率的な解釈手法を提案する。 実験の結果,提案手法は実行時間を最大30%削減できることがわかった。
  論文  参考訳（メタデータ） (2021-02-15T19:10:00Z)
• Topological Gradient-based Competitive Learning [1.6752712949948443]
  この研究は、勾配に基づく学習で競争学習をブリッジすることを目的とした、新しい包括的理論を提示することを目的としている。 2つの新しい勾配ベースの競合層の理論的等価性を完全に実証する。 予備実験は、入力行列の変換に基づいて訓練された双対アプローチが、低次元シナリオと高次元シナリオの両方において、より高速な収束率とより高いトレーニング精度をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-08-21T13:44:38Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。