論文の概要: Abstraction based Output Range Analysis for Neural Networks

• arxiv url: http://arxiv.org/abs/2007.09527v1
• Date: Sat, 18 Jul 2020 22:24:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 06:01:46.487969
• Title: Abstraction based Output Range Analysis for Neural Networks
• Title（参考訳）: 抽象化に基づくニューラルネットワークの出力範囲解析
• Authors: Pavithra Prabhakar and Zahra Rahimi Afzal
• Abstract要約: 本稿では,ReLUアクティベーション機能を備えたフィードフォワードニューラルネットワークにおける出力範囲解析の問題点について考察する。 既存の手法は、出力範囲解析問題を満足度と最適化の解決に還元する。 より少ないニューロンで単純なニューラルネットワークを構築する新しい抽象化手法を提案する。
• 参考スコア（独自算出の注目度）: 10.051309746913512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider the problem of output range analysis for feed-forward neural networks with ReLU activation functions. The existing approaches reduce the output range analysis problem to satisfiability and optimization solving, which are NP-hard problems, and whose computational complexity increases with the number of neurons in the network. To tackle the computational complexity, we present a novel abstraction technique that constructs a simpler neural network with fewer neurons, albeit with interval weights called interval neural network (INN), which over-approximates the output range of the given neural network. We reduce the output range analysis on the INNs to solving a mixed integer linear programming problem. Our experimental results highlight the trade-off between the computation time and the precision of the computed output range.
• Abstract（参考訳）: 本稿では,reluアクティベーション機能を有するフィードフォワードニューラルネットワークの出力範囲解析の問題点について考察する。 既存のアプローチでは、ネットワーク内のニューロン数によって計算複雑性が増加するnpハード問題である出力範囲解析問題を満足度と最適化解に還元する。 計算複雑性に対処するため,ニューラルネットワークの出力範囲を過度に近似するインターバルニューラルネットワーク(INN)と呼ばれるインターバル重みを持つ,より少ないニューロンで単純なニューラルネットワークを構築する新しい抽象化手法を提案する。 INNの出力範囲解析を、混合整数線形計画問題の解法に還元する。 実験の結果,計算時間と計算出力範囲の精度とのトレードオフが明らかになった。

関連論文リスト

• An analysis of optimization problems involving ReLU neural networks [38.258426534664046]
  本研究では,混合整数型プログラミング解法における実行時間挙動の解析と改善手法について検討する。 本論文では,これらの手法を3つのベンチマーク問題に対して数値的に比較する。 主要な出発点として、我々は、しばしば望まれるニューラルネットワークモデルの冗長性と、関連する最適化問題を解決するための計算コストとの間のトレードオフを観察し、定量化する。
  論文  参考訳（メタデータ） (2025-02-05T09:18:07Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Erasure Coded Neural Network Inference via Fisher Averaging [28.243239815823205]
  消去符号化コンピューティングは、サーバのストラグリングや異種トラフィックの変動といった要因によって引き起こされるテールレイテンシを低減するために、クラウドシステムで成功している。 我々は、2つ以上のニューラルネットワークモデルに対して、与えられたニューラルネットワークの出力の線形結合である符号付きモデルを構築する方法を設計する。 実世界のビジョンデータセットに基づいてトレーニングされたニューラルネットワーク上で消去符号化を行う実験を行い、COINを用いた復号出力の精度は他のベースラインよりも著しく高いことを示す。
  論文  参考訳（メタデータ） (2024-09-02T18:46:26Z)
• A simple algorithm for output range analysis for deep neural networks [0.0]
  本稿では,Deep Neural Networks (DNN) における出力範囲推定問題に対して,Simulated Annealing (SA) アルゴリズムを統合した新しい手法を提案する。 この方法はResNetsに固有の幾何学的情報や非線形性の欠如による課題に効果的に対処する。
  論文  参考訳（メタデータ） (2024-07-02T22:47:40Z)
• A new approach to generalisation error of machine learning algorithms: Estimates and convergence [0.0]
  本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。 本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
  論文  参考訳（メタデータ） (2023-06-23T20:57:31Z)
• Guaranteed Quantization Error Computation for Neural Network Model Compression [2.610470075814367]
  ニューラルネットワークモデル圧縮技術は、産業システムの組み込みデバイス上でのディープニューラルネットワークの計算問題に対処することができる。 統合されたニューラルネットワークは、フィードフォワードニューラルネットワークとその量子化されたバージョンから構築され、2つのニューラルネットワーク間の正確な出力差を生成する。
  論文  参考訳（メタデータ） (2023-04-26T20:21:54Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Channel Assignment in Uplink Wireless Communication using Machine Learning Approach [54.012791474906514]
  本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。 我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。 計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
  論文  参考訳（メタデータ） (2020-01-12T15:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。