論文の概要: No Soundness in the Real World: On the Challenges of the Verification of Deployed Neural Networks

• arxiv url: http://arxiv.org/abs/2506.01054v1
• Date: Sun, 01 Jun 2025 15:47:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.90942
• Title: No Soundness in the Real World: On the Challenges of the Verification of Deployed Neural Networks
• Title（参考訳）: 実世界では音が聞こえない:デプロイニューラルネットワークの検証の課題について
• Authors: Attila Szász, Balázs Bánhelyi, Márk Jelasity,
• Abstract要約: 理論的健全性は実用的健全性を意味するものではないと論じる。 私たちは、デプロイメント環境の特徴を検出し、活用する敵ネットワークを作成します。 テスト対象の検証対象がすべて,新たなデプロイメントアタックに対して脆弱であることを実証しています。
• 参考スコア（独自算出の注目度）: 1.3108652488669736
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The ultimate goal of verification is to guarantee the safety of deployed neural networks. Here, we claim that all the state-of-the-art verifiers we are aware of fail to reach this goal. Our key insight is that theoretical soundness (bounding the full-precision output while computing with floating point) does not imply practical soundness (bounding the floating point output in a potentially stochastic environment). We prove this observation for the approaches that are currently used to achieve provable theoretical soundness, such as interval analysis and its variants. We also argue that achieving practical soundness is significantly harder computationally. We support our claims empirically as well by evaluating several well-known verification methods. To mislead the verifiers, we create adversarial networks that detect and exploit features of the deployment environment, such as the order and precision of floating point operations. We demonstrate that all the tested verifiers are vulnerable to our new deployment-specific attacks, which proves that they are not practically sound.
• Abstract（参考訳）: 検証の最終的な目標は、デプロイされたニューラルネットワークの安全性を保証することだ。 ここでは、私たちが知っている最先端の検証者はみな、この目標達成に失敗していると主張している。 我々のキーとなる洞察は、理論的健全性(浮動小数点演算における完全精度の出力バウンド)は実用的健全性(潜在的確率環境における浮動小数点出力バウンド)を含まないことである。 この観察は、現在、区間解析や変種など、証明可能な理論的健全性を達成するために使われている手法の証明である。 また,現実的な音質を達成することは,計算的には非常に困難であるとも主張する。 我々は、いくつかのよく知られた検証手法を評価することで、経験的かつ実証的なクレームも支持する。 検証を誤解させるため,浮動小数点演算の順序や精度など,デプロイメント環境の特徴を検出し,活用する敵ネットワークを構築した。 テスト対象の検証対象がすべて,新たなデプロイメント固有の攻撃に対して脆弱であることを実証しています。

関連論文リスト

• A Formally Verified Robustness Certifier for Neural Networks (Extended Version) [0.0]
  ニューラルネットワークは入力中の小さな摂動の影響を受けやすいため、それらが誤分類される。 グローバルなロバストニューラルネットワークは、入力の分類がそのような摂動によって変更できないことを証明するために機能を使用する。 本稿では,プログラムとその仕様,実装と検証に要する重要な設計決定について述べる。
  論文  参考訳（メタデータ） (2025-05-11T12:05:14Z)
• Certifying Global Robustness for Deep Neural Networks [3.8556106468003613]
  グローバルなディープニューラルネットワークは、すべての意味のある入力に対する摂動に抵抗する。 現在のロバストネス認証手法は、局所ロバストネスを強調し、スケールと一般化に苦慮している。 本稿では,ディープニューラルネットワークのグローバルロバスト性を評価・検証するための体系的かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T00:46:04Z)
• Robust and efficient verification of graph states in blind measurement-based quantum computation [52.70359447203418]
  Blind Quantum Computing (BQC) は、クライアントのプライバシを保護するセキュアな量子計算手法である。 資源グラフ状態が敵のシナリオで正確に準備されているかどうかを検証することは重要である。 本稿では,任意の局所次元を持つ任意のグラフ状態を検証するための,堅牢で効率的なプロトコルを提案する。
  論文  参考訳（メタデータ） (2023-05-18T06:24:45Z)
• Generalizability of Adversarial Robustness Under Distribution Shifts [57.767152566761304]
  本研究は, 実証的, 証明された敵対的堅牢性間の相互作用と, ドメインの一般化を両立させるための第一歩を踏み出した。 複数のドメインでロバストモデルをトレーニングし、その正確性とロバスト性を評価する。 本研究は, 現実の医療応用をカバーするために拡張され, 敵の増大は, クリーンデータ精度に最小限の影響を伴って, 強靭性の一般化を著しく促進する。
  論文  参考訳（メタデータ） (2022-09-29T18:25:48Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Data-Driven Assessment of Deep Neural Networks with Random Input Uncertainty [14.191310794366075]
  我々は,ネットワーク出力の安全性を同時に証明し,ローカライズ可能なデータ駆動最適化手法を開発した。 深部ReLUネットワークにおける提案手法の有効性とトラクタビリティを実験的に実証した。
  論文  参考訳（メタデータ） (2020-10-02T19:13:35Z)
• Debona: Decoupled Boundary Network Analysis for Tighter Bounds and Faster Adversarial Robustness Proofs [2.1320960069210484]
  ニューラルネットワークは、安全クリティカルな現実世界のアプリケーションで一般的に使用される。 このような敵の例が存在しないこと、あるいは具体的な例を提供することは、安全なアプリケーションを保証するために不可欠である。 畳み込みネットワークにおける最大プーリング層上層と下層の境界の厳密な証明を行う。
  論文  参考訳（メタデータ） (2020-06-16T10:00:33Z)
• Exploiting Verified Neural Networks via Floating Point Numerical Error [15.639601066641099]
  検証者は、ニューラルネットワークが空間内のすべての入力に対して特定の特性を保証するかどうかに答えようとしている。 浮動小数点誤差の無視は、実際に体系的に活用できる不健全な検証につながることを示す。
  論文  参考訳（メタデータ） (2020-03-06T03:58:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。