論文の概要: Training Verification-Friendly Neural Networks via Neuron Behavior Consistency

• arxiv url: http://arxiv.org/abs/2412.13229v2
• Date: Sun, 29 Dec 2024 13:48:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:02:44.744855
• Title: Training Verification-Friendly Neural Networks via Neuron Behavior Consistency
• Title（参考訳）: ニューロン行動整合性を利用したニューラルネットワークのトレーニング検証
• Authors: Zongxin Liu, Zhe Zhao, Fu Song, Jun Sun, Pengfei Yang, Xiaowei Huang, Lijun Zhang,
• Abstract要約: 本研究は,検証に親しみやすいニューラルネットワークをトレーニングするための新しい手法を提案する。 本手法は,ニューロンの行動一貫性をトレーニングプロセスに統合する。 提案手法は既存の手法と組み合わせることで,ネットワークの妥当性をさらに向上できることを示す。
• 参考スコア（独自算出の注目度）: 20.461738506282504
• License:
• Abstract: Formal verification provides critical security assurances for neural networks, yet its practical application suffers from the long verification time. This work introduces a novel method for training verification-friendly neural networks, which are robust, easy to verify, and relatively accurate. Our method integrates neuron behavior consistency into the training process, making neuron activation states remain consistent across different inputs within a local neighborhood. This reduces the number of unstable neurons and tightens the bounds of neurons thereby enhancing the network's verifiability. We evaluated our method using the MNIST, Fashion-MNIST, and CIFAR-10 datasets with various network architectures. The experimental results demonstrate that networks trained using our method are verification-friendly across different radii and architectures, whereas other tools fail to maintain verifiability as the radius increases. Additionally, we show that our method can be combined with existing approaches to further improve the verifiability of networks.
• Abstract（参考訳）: 形式的検証は、ニューラルネットワークにとって重要なセキュリティ保証を提供するが、実用的アプリケーションは長い検証時間に悩まされている。 この研究は、堅牢で、容易に検証でき、比較的正確である検証フレンドリーなニューラルネットワークをトレーニングするための新しい方法を紹介している。 本手法は,ニューロンの動作の整合性をトレーニングプロセスに統合し,局所的に異なる入力に対してニューロンの活性化状態を一定に維持する。 これにより不安定なニューロンの数が減少し、ニューロンの境界が厳しくなり、ネットワークの妥当性が向上する。 MNIST, Fashion-MNIST, CIFAR-10データセットをネットワークアーキテクチャを用いて評価した。 実験により,本手法を用いてトレーニングしたネットワークは,半径が増加するにつれて検証性を維持することができず,異なるラジイやアーキテクチャで検証しやすいことを示した。 さらに,提案手法を既存手法と組み合わせることで,ネットワークの妥当性をさらに向上できることを示す。

関連論文リスト

• Certified Continual Learning for Neural Network Regression [5.196348925724883]
  認定連続学習という手法を提案する。 検証されたネットワークの確立した正しさ特性を可能な限り保持することにより、既存の継続学習方法を改善する。 その結果,本手法は効率が良く,訓練されたモデルでは正当性を保ち,高い実用性を維持していることがわかった。
  論文  参考訳（メタデータ） (2024-07-09T09:14:45Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• Expediting Neural Network Verification via Network Reduction [4.8621567234713305]
  本稿では,検証前の事前処理手法として,ネットワーク削減手法を提案する。 提案手法は、安定なReLUニューロンを除去し、それらをシーケンシャルなニューラルネットワークに変換することにより、ニューラルネットワークを削減する。 我々は、最先端の完全および不完全検証ツールの縮小手法をインスタンス化する。
  論文  参考訳（メタデータ） (2023-08-07T06:23:24Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Towards Repairing Neural Networks Correctly [6.600380575920419]
  本稿では,ニューラルネットワークの正確性を保証するための実行時検証手法を提案する。 実験結果から,本手法は特性を満たすことが保証されたニューラルネットワークを効果的に生成することが示された。
  論文  参考訳（メタデータ） (2020-12-03T12:31:07Z)
• An SMT-Based Approach for Verifying Binarized Neural Networks [1.4394939014120451]
  本稿では,SMTを用いた二元化ニューラルネットワークの検証手法を提案する。 我々の手法の1つの新しい点は、二項化コンポーネントと非二項化コンポーネントの両方を含むニューラルネットワークの検証を可能にすることである。 我々は、この手法をマラブーフレームワークの拡張として実装し、一般的な二項化ニューラルネットワークアーキテクチャのアプローチを評価する。
  論文  参考訳（メタデータ） (2020-11-05T16:21:26Z)
• Verifying Recurrent Neural Networks using Invariant Inference [0.0]
  本稿では,リカレントニューラルネットワーク(Recurrent Neural Network)と呼ばれる,ニューラルネットワークの多種多様な特性を検証するための新しいアプローチを提案する。 この手法は不変量の推論に基づいており、再帰的ネットワークを単純かつ非再帰的な問題に検証する際の複雑な問題を軽減できる。
  論文  参考訳（メタデータ） (2020-04-06T08:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。