論文の概要: Limitations of Piecewise Linearity for Efficient Robustness Certification

• arxiv url: http://arxiv.org/abs/2301.08842v1
• Date: Sat, 21 Jan 2023 01:20:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 16:06:25.206266
• Title: Limitations of Piecewise Linearity for Efficient Robustness Certification
• Title（参考訳）: 効率的ロバスト性認定のための区分線形性の限界
• Authors: Klas Leino
• Abstract要約: 我々は、一貫した線形性は、主要な認証技術の厳密性に根本的な制限を課すと主張している。 我々は、スムーズなアクティベーション関数の開発が、認定ニューラルネットワークの性能向上への道のりであると結論付けている。
• 参考スコア（独自算出の注目度）: 9.594432031144716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Certified defenses against small-norm adversarial examples have received growing attention in recent years; though certified accuracies of state-of-the-art methods remain far below their non-robust counterparts, despite the fact that benchmark datasets have been shown to be well-separated at far larger radii than the literature generally attempts to certify. In this work, we offer insights that identify potential factors in this performance gap. Specifically, our analysis reveals that piecewise linearity imposes fundamental limitations on the tightness of leading certification techniques. These limitations are felt in practical terms as a greater need for capacity in models hoped to be certified efficiently. Moreover, this is in addition to the capacity necessary to learn a robust boundary, studied in prior work. However, we argue that addressing the limitations of piecewise linearity through scaling up model capacity may give rise to potential difficulties -- particularly regarding robust generalization -- therefore, we conclude by suggesting that developing smooth activation functions may be the way forward for advancing the performance of certified neural networks.
• Abstract（参考訳）: 一般には文献よりもはるかに大きな半径でベンチマークデータセットが分離されていることが証明されているにもかかわらず、最先端の手法の認定された精度は非破壊的な手法よりもはるかに低いままである。 この研究では、パフォーマンスギャップの潜在的な要因を特定する洞察を提供する。 具体的には,一括線形性は先進認証技術の厳密性に基本的な制約を課している。 これらの制限は、効果的に認証されることを期待するモデルのキャパシティの必要性が高まるという、実際的な観点で感じられる。 さらに、これは以前の仕事で研究された堅牢な境界を学ぶのに必要な能力である。 しかし、モデル容量のスケールアップによる分割線形性の制限は、特に強固な一般化に関して潜在的な困難を生じさせる可能性があると論じ、よりスムーズなアクティベーション関数の開発が、認定されたニューラルネットワークの性能向上への道のりであると結論づける。

関連論文リスト

• Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization [53.15874572081944]
  ディープラーニングフレームワークにおける計算可能性について,2つの観点から検討する。 根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を示す。 最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-12T15:02:26Z)
• Reward Certification for Policy Smoothed Reinforcement Learning [14.804252729195513]
  強化学習(Reinforcement Learning, RL)は、安全クリティカルな分野において大きな成功を収めた。 近年の研究では、その堅牢性を高めるために「平滑な政策」を導入している。 報酬の総額を認定する証明可能な保証を確立することは依然として困難である。
  論文  参考訳（メタデータ） (2023-12-11T15:07:58Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• A Recipe for Improved Certifiable Robustness [35.04363084213627]
  近年の研究は、リプシッツをベースとした、敵の攻撃に対して確実に堅牢なニューラルネットワークを訓練する手法の可能性を強調している。 リプシッツに基づく認証手法の可能性を明らかにするため、より包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-04T01:18:59Z)
• It's Simplex! Disaggregating Measures to Improve Certified Robustness [32.63920797751968]
  本研究は,認証機構の分析を改善するための2つのアプローチを提案する。 新しい認証アプローチは、達成可能な認定範囲の2倍以上の可能性を秘めている。 経験的評価は、我々の新しいアプローチがノイズスケール$sigma = 1$で9%以上のサンプルを認証できることを検証する。
  論文  参考訳（メタデータ） (2023-09-20T02:16:19Z)
• Towards Evading the Limits of Randomized Smoothing: A Theoretical Analysis [74.85187027051879]
  決定境界を複数の雑音分布で探索することにより,任意の精度で最適な証明を近似できることを示す。 この結果は、分類器固有の認証に関するさらなる研究を後押しし、ランダム化された平滑化が依然として調査に値することを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:48:54Z)
• Certifying Out-of-Domain Generalization for Blackbox Functions [20.997611019445657]
  本稿では,2つの分布の平均距離と分散距離を限定した新しい認証フレームワークを提案する。 我々は、ImageNetを含む複数のデータセットに対して、認証手法を実験的に検証した。
  論文  参考訳（メタデータ） (2022-02-03T16:47:50Z)
• Logic Constraints to Feature Importances [17.234442722611803]
  AIモデルの"ブラックボックス"の性質は、診断技術や自律的ガイドなど、高度な分野における信頼性の高い応用の限界であることが多い。 近年の研究では、適切な解釈可能性のレベルが、モデル信頼性というより一般的な概念を強制できることが示されている。 本論文の基本的な考え方は,特定のタスクにおける特徴の重要性に関する人間の事前知識を利用して,モデルの適合のフェーズを整合的に支援することである。
  論文  参考訳（メタデータ） (2021-10-13T09:28:38Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Lipschitzness Is All You Need To Tame Off-policy Generative Adversarial Imitation Learning [52.50288418639075]
  本稿では,非政治的生成的対人模倣学習の事例について考察する。 学習した報酬関数を局所的なリプシッツ連続関数に強制することは、その手法がうまく動作するための正準非条件であることを示す。
  論文  参考訳（メタデータ） (2020-06-28T20:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。