論文の概要: A simple algorithm for output range analysis for deep neural networks

• arxiv url: http://arxiv.org/abs/2407.02700v3
• Date: Tue, 04 Feb 2025 20:01:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 11:04:34.998610
• Title: A simple algorithm for output range analysis for deep neural networks
• Title（参考訳）: 深部ニューラルネットワークの出力範囲解析のための簡易アルゴリズム
• Authors: Helder Rojas, Nilton Rojas, Espinoza J. B., Luis Huamanchumo,
• Abstract要約: 本稿では,Deep Neural Networks (DNN) における出力範囲推定問題に対して,Simulated Annealing (SA) アルゴリズムを統合した新しい手法を提案する。 この方法はResNetsに固有の幾何学的情報や非線形性の欠如による課題に効果的に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper presents a novel approach for the output range estimation problem in Deep Neural Networks (DNNs) by integrating a Simulated Annealing (SA) algorithm tailored to operate within constrained domains and ensure convergence towards global optima. The method effectively addresses the challenges posed by the lack of local geometric information and the high non-linearity inherent to DNNs, making it applicable to a wide variety of architectures, with a special focus on Residual Networks (ResNets) due to their practical importance. Unlike existing methods, our algorithm imposes minimal assumptions on the internal architecture of neural networks, thereby extending its usability to complex models. Theoretical analysis guarantees convergence, while extensive empirical evaluations-including optimization tests involving functions with multiple local minima-demonstrate the robustness of our algorithm in navigating non-convex response surfaces. The experimental results highlight the algorithm's efficiency in accurately estimating DNN output ranges, even in scenarios characterized by high non-linearity and complex constraints. For reproducibility, Python codes and datasets used in the experiments are publicly available through our GitHub repository.
• Abstract（参考訳）: 本稿では,制約領域内での動作とグローバルオプティマへの収束を確保するために,Simulated Annealing (SA)アルゴリズムを統合することで,ディープニューラルネットワーク(DNN)における出力範囲推定問題に対する新しいアプローチを提案する。 本手法は,DNNに固有の局所的幾何学的情報の欠如と高非線形性によって引き起こされる課題を効果的に解決し,Residual Networks(ResNets)に特化して,多種多様なアーキテクチャに適用可能である。 既存の手法とは異なり、我々のアルゴリズムはニューラルネットワークの内部構造に最小限の仮定を課し、複雑なモデルにそのユーザビリティを拡大する。 理論的解析により収束が保証される一方で、複数の局所最小値を持つ関数を含む広範な実験的評価は、非凸応答曲面をナビゲートする際のアルゴリズムの堅牢性を実証する。 実験結果はDNN出力範囲を正確に推定するアルゴリズムの効率を,高非線形性や複雑な制約を特徴とするシナリオにおいても強調した。 再現性のために、実験で使用されるPythonコードとデータセットは、GitHubリポジトリから公開されています。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Neural Network with Local Converging Input (NNLCI) for Supersonic Flow Problems with Unstructured Grids [0.9152133607343995]
  非構造データを用いた高忠実度予測のための局所収束入力(NNLCI)を用いたニューラルネットワークを開発した。 また, NNLCI法を用いて, バンプを有するチャネル内の超音速流の可視化を行った。
  論文  参考訳（メタデータ） (2023-10-23T19:03:37Z)
• Quantifying uncertainty for deep learning based forecasting and flow-reconstruction using neural architecture search ensembles [0.8258451067861933]
  本稿では,ディープニューラルネットワーク(DNN)の自動検出手法を提案するとともに,アンサンブルに基づく不確実性定量化にも有効であることを示す。 提案手法は,タスクの高パフォーマンスニューラルネットワークアンサンブルを検出するだけでなく,不確実性をシームレスに定量化する。 本研究では, 歴史的データからの予測と, 海面温度のスパースセンサからのフロー再構成という2つの課題に対して, この枠組みの有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-20T03:57:06Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Multigoal-oriented dual-weighted-residual error estimation using deep neural networks [0.0]
  ディープラーニングは、関数を近似する柔軟性の高い強力なツールだと考えられている。 提案手法は,誤差の局所化に付随する問題を解く後続誤差推定法に基づく。 複数のゴール関数に対する後方誤差推定を得るために,効率的で実装が容易なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-12-21T16:59:44Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Abstraction based Output Range Analysis for Neural Networks [10.051309746913512]
  本稿では,ReLUアクティベーション機能を備えたフィードフォワードニューラルネットワークにおける出力範囲解析の問題点について考察する。 既存の手法は、出力範囲解析問題を満足度と最適化の解決に還元する。 より少ないニューロンで単純なニューラルネットワークを構築する新しい抽象化手法を提案する。
  論文  参考訳（メタデータ） (2020-07-18T22:24:54Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。