Fugu-MT 論文翻訳(概要): Make Interval Bound Propagation great again

論文の概要: Make Interval Bound Propagation great again

arxiv url: http://arxiv.org/abs/2410.03373v1
Date: Fri, 4 Oct 2024 12:39:46 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 22:48:52.569652
Title: Make Interval Bound Propagation great again
Title（参考訳）: インターバル境界の伝播を再び大きくする
Authors: Patryk Krukowski, Daniel Wilczak, Jacek Tabor, Anna Bielawska, Przemysław Spurek,
Abstract要約: 医療データ分析,自律運転,対人訓練など,実生活に動機づけられたさまざまなシナリオにおいて,我々は,堅牢なディープネットワークに関心を持っている。本稿では,所定の事前学習ネットワークのロバスト性を計算する方法と,ロバストネットワークの構築方法について述べる。ニューラルネットワークのラップ効果を軽減するために、厳密な計算に特化した2つの古典的なアプローチを適用する。
参考スコア（独自算出の注目度）: 7.121259735505479
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In various scenarios motivated by real life, such as medical data analysis, autonomous driving, and adversarial training, we are interested in robust deep networks. A network is robust when a relatively small perturbation of the input cannot lead to drastic changes in output (like change of class, etc.). This falls under the broader scope field of Neural Network Certification (NNC). Two crucial problems in NNC are of profound interest to the scientific community: how to calculate the robustness of a given pre-trained network and how to construct robust networks. The common approach to constructing robust networks is Interval Bound Propagation (IBP). This paper demonstrates that IBP is sub-optimal in the first case due to its susceptibility to the wrapping effect. Even for linear activation, IBP gives strongly sub-optimal bounds. Consequently, one should use strategies immune to the wrapping effect to obtain bounds close to optimal ones. We adapt two classical approaches dedicated to strict computations -- Dubleton Arithmetic and Affine Arithmetic -- to mitigate the wrapping effect in neural networks. These techniques yield precise results for networks with linear activation functions, thus resisting the wrapping effect. As a result, we achieve bounds significantly closer to the optimal level than IBPs.
Abstract（参考訳）: 医療データ分析,自律運転,対人訓練など,実生活に動機づけられたさまざまなシナリオにおいて,我々は,堅牢なディープネットワークに関心を持っている。入力の比較的小さな摂動が出力の劇的な変化(クラスの変更など)を引き起こすことができない場合、ネットワークは堅牢である。これは、NNC(Neural Network Certification)の幅広い分野に該当する。 NNCにおける2つの重要な問題は、与えられた事前訓練されたネットワークの堅牢性を計算する方法と、堅牢なネットワークを構築する方法である。堅牢なネットワークを構築するための一般的なアプローチは、インターバルバウンド・プロパゲーション (Interval Bound Propagation, IBP) である。本報告では,IPPは包装効果に感受性があることから,第1の症例では準最適であることを示す。線形活性化においても、IPPは強い準最適境界を与える。したがって、ラップ効果に免疫的な戦略を用いて最適に近い境界を得る必要がある。我々は、ニューラルネットワークのラップ効果を軽減するために、厳密な計算に特化した2つの古典的なアプローチ、Dubleton ArithmeticとAffine Arithmeticを適用する。これらの手法は線形活性化関数を持つネットワークに対して正確な結果をもたらし、ラップ効果に抵抗する。その結果,IPBよりも最適値に近い値が得られることがわかった。

関連論文リスト

Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness [7.742297876120561]
ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れています。従来のプルーニング手法は、微妙な摂動に耐えるネットワークの能力を損なう。本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。
論文参考訳（メタデータ） (2024-10-19T18:35:52Z)
Inferring Dynamic Networks from Marginals with Iterative Proportional Fitting [57.487936697747024]
実世界のデータ制約から生じる一般的なネットワーク推論問題は、その時間集約された隣接行列から動的ネットワークを推論する方法である。本稿では,ネットワーク構造に対する最小限の変更の下でIPFの収束を保証するアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-02-28T20:24:56Z)
Verifying message-passing neural networks via topology-based bounds tightening [3.3267518043390205]
我々は、メッセージパッシングニューラルネットワーク(MPNN)のための堅牢な証明書を提供するための、計算学的に効果的なアプローチを開発する。私たちの研究は混合整数最適化に基づいており、様々なサブプロブレムをエンコードしています。ノード分類とグラフ分類の両方の問題を検証し、エッジの追加と削除の両方を行うトポロジ的攻撃について検討する。
論文参考訳（メタデータ） (2024-02-21T17:05:27Z)
Regularized PolyKervNets: Optimizing Expressiveness and Efficiency for Private Inference in Deep Neural Networks [0.0]
より小さなネットワークで動的近似を改善する技術としてよく知られているPolyKervNetsに注目する。我々の主な目的は、大規模ネットワークにおけるPolyKervNetの性能を高めるために、最適化に基づくトレーニングレシピを実証的に探索することである。
論文参考訳（メタデータ） (2023-12-23T11:37:18Z)
Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
SPP-CNN: An Efficient Framework for Network Robustness Prediction [13.742495880357493]
本稿では,空間ピラミッドプール畳み込みニューラルネットワーク(SPP-CNN)のネットワークロバスト性予測のための効率的なフレームワークを開発する。新しいフレームワークは、畳み込み層と完全に接続された層の間に空間ピラミッドプーリング層を設置し、CNNベースの予測アプローチにおける一般的なミスマッチ問題を克服する。
論文参考訳（メタデータ） (2023-05-13T09:09:20Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
論文参考訳（メタデータ） (2021-04-01T13:03:48Z)
Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文参考訳（メタデータ） (2020-12-04T19:50:09Z)
Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。