論文の概要: Verifying Properties of Binary Neural Networks Using Sparse Polynomial Optimization

• arxiv url: http://arxiv.org/abs/2405.17049v1
• Date: Mon, 27 May 2024 11:03:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 15:52:11.686955
• Title: Verifying Properties of Binary Neural Networks Using Sparse Polynomial Optimization
• Title（参考訳）: スパース多項式最適化を用いた二元ニューラルネットワークの検証特性
• Authors: Jianting Yang, Srećko Ðurašinović, Jean-Bernard Lasserre, Victor Magron, Jun Zhao,
• Abstract要約: 本稿では,バイナリニューラルネットワーク(BNN)の特性検証手法について検討する。 フル精度のBNNと同様、入力の摂動にも敏感だ。 スパース多項式最適化から導かれる半有限プログラミング緩和を用いた代替手法を提案する。
• 参考スコア（独自算出の注目度）: 8.323690755070123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores methods for verifying the properties of Binary Neural Networks (BNNs), focusing on robustness against adversarial attacks. Despite their lower computational and memory needs, BNNs, like their full-precision counterparts, are also sensitive to input perturbations. Established methods for solving this problem are predominantly based on Satisfiability Modulo Theories and Mixed-Integer Linear Programming techniques, which are characterized by NP complexity and often face scalability issues. We introduce an alternative approach using Semidefinite Programming relaxations derived from sparse Polynomial Optimization. Our approach, compatible with continuous input space, not only mitigates numerical issues associated with floating-point calculations but also enhances verification scalability through the strategic use of tighter first-order semidefinite relaxations. We demonstrate the effectiveness of our method in verifying robustness against both $\|.\|_\infty$ and $\|.\|_2$-based adversarial attacks.
• Abstract（参考訳）: 本稿では,BNN(Binary Neural Networks)の特性を検証する手法について検討し,敵攻撃に対する堅牢性に着目した。 計算とメモリの必要性は低いが、BNNはフル精度のシステムと同様、入力の摂動にも敏感である。 この問題を解決するための確立された方法は、主に、NP複雑性を特徴とするSatisfiability Modulo TheoriesとMixed-Integer Linear Programmingの技術に基づいており、スケーラビリティの問題に直面していることが多い。 スパース多項式最適化から導かれる半有限プログラミング緩和を用いた代替手法を提案する。 我々のアプローチは連続的な入力空間と互換性があり、浮動小数点計算に伴う数値問題を緩和するだけでなく、より厳密な一階半定緩和の戦略的利用によって検証のスケーラビリティを向上させる。 本手法の有効性を, 共に$\|に対するロバスト性を検証する。 \|_\infty$と$\|。 \|_2$ベースの敵攻撃。

関連論文リスト

• Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update [0.09986418756990156]
  本稿では,組合せ最適化(CO)問題を効率よく解くために,GNNのパワーを活用して,QRF-GNNと呼ぶ新しいアルゴリズムを提案する。 QUBO緩和による損失関数の最小化による教師なし学習に依存している。 実験の結果、QRF-GNNは既存の学習ベースアプローチを大幅に上回り、最先端の手法に匹敵することがわかった。
  論文  参考訳（メタデータ） (2024-07-23T13:34:35Z)
• Verifying message-passing neural networks via topology-based bounds tightening [3.3267518043390205]
  我々は、メッセージパッシングニューラルネットワーク(MPNN)のための堅牢な証明書を提供するための、計算学的に効果的なアプローチを開発する。 私たちの研究は混合整数最適化に基づいており、様々なサブプロブレムをエンコードしています。 ノード分類とグラフ分類の両方の問題を検証し、エッジの追加と削除の両方を行うトポロジ的攻撃について検討する。
  論文  参考訳（メタデータ） (2024-02-21T17:05:27Z)
• Dynamically configured physics-informed neural network in topology optimization applications [4.403140515138818]
  物理インフォームドニューラルネットワーク(PINN)は、前方問題を解決する際に大量のデータを生成するのを避けることができる。 動的に構成された PINN-based Topology Optimization (DCPINN-TO) 法を提案する。 変位予測と最適化結果の精度は,DCPINN-TO法が効率的かつ効率的であることを示している。
  論文  参考訳（メタデータ） (2023-12-12T05:35:30Z)
• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Near-Optimal High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。 クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Targeted Attack against Deep Neural Networks via Flipping Limited Weight Bits [55.740716446995805]
  我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。 私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。 整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
  論文  参考訳（メタデータ） (2021-02-21T03:13:27Z)
• Gradient-Free Adversarial Attacks for Bayesian Neural Networks [9.797319790710713]
  敵対的な例は、機械学習モデルの堅牢性を理解することの重要性を強調している。 本研究では,BNNの逆例を見つけるために,勾配のない最適化手法を用いる。
  論文  参考訳（メタデータ） (2020-12-23T13:19:11Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。