論文の概要: Training Verification-Friendly Neural Networks via Neuron Behavior Consistency

• arxiv url: http://arxiv.org/abs/2412.13229v2
• Date: Sun, 29 Dec 2024 13:48:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:02:44.744855
• Title: Training Verification-Friendly Neural Networks via Neuron Behavior Consistency
• Title（参考訳）: ニューロン行動整合性を利用したニューラルネットワークのトレーニング検証
• Authors: Zongxin Liu, Zhe Zhao, Fu Song, Jun Sun, Pengfei Yang, Xiaowei Huang, Lijun Zhang,
• Abstract要約: 本研究は,検証に親しみやすいニューラルネットワークをトレーニングするための新しい手法を提案する。 本手法は,ニューロンの行動一貫性をトレーニングプロセスに統合する。 提案手法は既存の手法と組み合わせることで,ネットワークの妥当性をさらに向上できることを示す。
• 参考スコア（独自算出の注目度）: 20.461738506282504
• License:
• Abstract: Formal verification provides critical security assurances for neural networks, yet its practical application suffers from the long verification time. This work introduces a novel method for training verification-friendly neural networks, which are robust, easy to verify, and relatively accurate. Our method integrates neuron behavior consistency into the training process, making neuron activation states remain consistent across different inputs within a local neighborhood. This reduces the number of unstable neurons and tightens the bounds of neurons thereby enhancing the network's verifiability. We evaluated our method using the MNIST, Fashion-MNIST, and CIFAR-10 datasets with various network architectures. The experimental results demonstrate that networks trained using our method are verification-friendly across different radii and architectures, whereas other tools fail to maintain verifiability as the radius increases. Additionally, we show that our method can be combined with existing approaches to further improve the verifiability of networks.
• Abstract（参考訳）: 形式的検証は、ニューラルネットワークにとって重要なセキュリティ保証を提供するが、実用的アプリケーションは長い検証時間に悩まされている。 この研究は、堅牢で、容易に検証でき、比較的正確である検証フレンドリーなニューラルネットワークをトレーニングするための新しい方法を紹介している。 本手法は,ニューロンの動作の整合性をトレーニングプロセスに統合し,局所的に異なる入力に対してニューロンの活性化状態を一定に維持する。 これにより不安定なニューロンの数が減少し、ニューロンの境界が厳しくなり、ネットワークの妥当性が向上する。 MNIST, Fashion-MNIST, CIFAR-10データセットをネットワークアーキテクチャを用いて評価した。 実験により,本手法を用いてトレーニングしたネットワークは,半径が増加するにつれて検証性を維持することができず,異なるラジイやアーキテクチャで検証しやすいことを示した。 さらに,提案手法を既存手法と組み合わせることで,ネットワークの妥当性をさらに向上できることを示す。

関連論文リスト

• Certified Continual Learning for Neural Network Regression [5.196348925724883]
  認定連続学習という手法を提案する。 検証されたネットワークの確立した正しさ特性を可能な限り保持することにより、既存の継続学習方法を改善する。 その結果,本手法は効率が良く,訓練されたモデルでは正当性を保ち,高い実用性を維持していることがわかった。
  論文  参考訳（メタデータ） (2024-07-09T09:14:45Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Set-Based Training for Neural Network Verification [8.97708612393722]
  小さな入力摂動はニューラルネットワークの出力に大きな影響を与える。 安全クリティカルな環境では、入力はノイズの多いセンサーデータを含むことが多い。 我々は、堅牢なニューラルネットワークをトレーニングして正式な検証を行う、エンドツーエンドのセットベーストレーニング手順を採用している。
  論文  参考訳（メタデータ） (2024-01-26T15:52:41Z)
• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• Expediting Neural Network Verification via Network Reduction [4.8621567234713305]
  本稿では,検証前の事前処理手法として,ネットワーク削減手法を提案する。 提案手法は、安定なReLUニューロンを除去し、それらをシーケンシャルなニューラルネットワークに変換することにより、ニューラルネットワークを削減する。 我々は、最先端の完全および不完全検証ツールの縮小手法をインスタンス化する。
  論文  参考訳（メタデータ） (2023-08-07T06:23:24Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Towards Repairing Neural Networks Correctly [6.600380575920419]
  本稿では,ニューラルネットワークの正確性を保証するための実行時検証手法を提案する。 実験結果から,本手法は特性を満たすことが保証されたニューラルネットワークを効果的に生成することが示された。
  論文  参考訳（メタデータ） (2020-12-03T12:31:07Z)
• An SMT-Based Approach for Verifying Binarized Neural Networks [1.4394939014120451]
  本稿では,SMTを用いた二元化ニューラルネットワークの検証手法を提案する。 我々の手法の1つの新しい点は、二項化コンポーネントと非二項化コンポーネントの両方を含むニューラルネットワークの検証を可能にすることである。 我々は、この手法をマラブーフレームワークの拡張として実装し、一般的な二項化ニューラルネットワークアーキテクチャのアプローチを評価する。
  論文  参考訳（メタデータ） (2020-11-05T16:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。