論文の概要: A simple algorithm for output range analysis for deep neural networks

• arxiv url: http://arxiv.org/abs/2407.02700v2
• Date: Mon, 03 Feb 2025 18:52:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:55:18.736477
• Title: A simple algorithm for output range analysis for deep neural networks
• Title（参考訳）: 深部ニューラルネットワークの出力範囲解析のための簡易アルゴリズム
• Authors: Helder Rojas, Nilton Rojas, Espinoza J. B., Luis Huamanchumo,
• Abstract要約: 本稿では,Deep Neural Networks (DNN) における出力範囲推定問題に対して,Simulated Annealing (SA) アルゴリズムを統合した新しい手法を提案する。 この方法はResNetsに固有の幾何学的情報や非線形性の欠如による課題に効果的に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper presents a novel approach for the output range estimation problem in Deep Neural Networks (DNNs) by integrating a Simulated Annealing (SA) algorithm tailored to operate within constrained domains and ensure convergence towards global optima. The method effectively addresses the challenges posed by the lack of local geometric information and the high non-linearity inherent to DNNs, making it applicable to a wide variety of architectures, with a special focus on Residual Networks (ResNets) due to their practical importance. Unlike existing methods, our algorithm imposes minimal assumptions on the internal architecture of neural networks, thereby extending its usability to complex models. Theoretical analysis guarantees convergence, while extensive empirical evaluations-including optimization tests involving functions with multiple local minima-demonstrate the robustness of our algorithm in navigating non-convex response surfaces. The experimental results highlight the algorithm's efficiency in accurately estimating DNN output ranges, even in scenarios characterized by high non-linearity and complex constraints. For reproducibility, Python codes and datasets used in the experiments are publicly available through our GitHub repository.
• Abstract（参考訳）: 本稿では,制約領域内での動作とグローバルオプティマへの収束を確保するために,Simulated Annealing (SA)アルゴリズムを統合することで,ディープニューラルネットワーク(DNN)における出力範囲推定問題に対する新しいアプローチを提案する。 本手法は,DNNに固有の局所的幾何学的情報の欠如と高非線形性によって引き起こされる課題を効果的に解決し,Residual Networks(ResNets)に特化して,多種多様なアーキテクチャに適用可能である。 既存の手法とは異なり、我々のアルゴリズムはニューラルネットワークの内部構造に最小限の仮定を課し、複雑なモデルにそのユーザビリティを拡大する。 理論的解析により収束が保証される一方で、複数の局所最小値を持つ関数を含む広範な実験的評価は、非凸応答曲面をナビゲートする際のアルゴリズムの堅牢性を実証する。 実験結果はDNN出力範囲を正確に推定するアルゴリズムの効率を,高非線形性や複雑な制約を特徴とするシナリオにおいても強調した。 再現性のために、実験で使用されるPythonコードとデータセットは、GitHubリポジトリから公開されています。

関連論文リスト

• Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
  本稿では,Deep Sparse Coding(DSC)モデルについて紹介する。 スパース特徴を抽出する能力において,CNNの収束率を導出する。 スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2024-08-10T12:43:55Z)
• Quantifying uncertainty for deep learning based forecasting and flow-reconstruction using neural architecture search ensembles [0.8258451067861933]
  本稿では,ディープニューラルネットワーク(DNN)の自動検出手法を提案するとともに,アンサンブルに基づく不確実性定量化にも有効であることを示す。 提案手法は,タスクの高パフォーマンスニューラルネットワークアンサンブルを検出するだけでなく,不確実性をシームレスに定量化する。 本研究では, 歴史的データからの予測と, 海面温度のスパースセンサからのフロー再構成という2つの課題に対して, この枠組みの有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-20T03:57:06Z)
• Variational Inference for Infinitely Deep Neural Networks [0.4061135251278187]
  非有界深度ニューラルネットワーク(UDN) 我々は、無限に深い確率モデルである非有界深度ニューラルネットワーク(UDN)を導入し、その複雑さをトレーニングデータに適用する。 我々はUDNを実データと合成データに基づいて研究する。
  論文  参考訳（メタデータ） (2022-09-21T03:54:34Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• A SAR speckle filter based on Residual Convolutional Neural Networks [68.8204255655161]
  本研究では,Convolutional Neural Networks(CNN)に基づく深層学習(DL)アルゴリズムを用いて,Sentinel-1データからスペックルノイズをフィルタリングする新しい手法を提案する。 得られた結果は、技術の現状と比較すると、ピーク信号対雑音比(PSNR)と構造類似度指数(SSIM)の点で明確な改善を示しています。
  論文  参考訳（メタデータ） (2021-04-19T14:43:07Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Abstraction based Output Range Analysis for Neural Networks [10.051309746913512]
  本稿では,ReLUアクティベーション機能を備えたフィードフォワードニューラルネットワークにおける出力範囲解析の問題点について考察する。 既存の手法は、出力範囲解析問題を満足度と最適化の解決に還元する。 より少ないニューロンで単純なニューラルネットワークを構築する新しい抽象化手法を提案する。
  論文  参考訳（メタデータ） (2020-07-18T22:24:54Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。