論文の概要: Achieving Domain-Independent Certified Robustness via Knowledge Continuity

• arxiv url: http://arxiv.org/abs/2411.01644v1
• Date: Sun, 03 Nov 2024 17:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:05.877425
• Title: Achieving Domain-Independent Certified Robustness via Knowledge Continuity
• Title（参考訳）: 知識継続性によるドメインに依存しない認証ロバスト性の実現
• Authors: Alan Sun, Chiyu Ma, Kenneth Ge, Soroush Vosoughi,
• Abstract要約: 我々は、リプシッツ連続性に触発された新しい定義である知識連続性を示す。 提案した定義は、ニューラルネットワークの損失関数と中間学習距離空間にのみ依存することを保証する。 ニューラルネットワークの脆弱なコンポーネントのローカライズには,知識の連続性が有効であることを示す。
• 参考スコア（独自算出の注目度）: 21.993471256103085
• License:
• Abstract: We present knowledge continuity, a novel definition inspired by Lipschitz continuity which aims to certify the robustness of neural networks across input domains (such as continuous and discrete domains in vision and language, respectively). Most existing approaches that seek to certify robustness, especially Lipschitz continuity, lie within the continuous domain with norm and distribution-dependent guarantees. In contrast, our proposed definition yields certification guarantees that depend only on the loss function and the intermediate learned metric spaces of the neural network. These bounds are independent of domain modality, norms, and distribution. We further demonstrate that the expressiveness of a model class is not at odds with its knowledge continuity. This implies that achieving robustness by maximizing knowledge continuity should not theoretically hinder inferential performance. Finally, to complement our theoretical results, we present several applications of knowledge continuity such as regularization, a certification algorithm, and show that knowledge continuity can be used to localize vulnerable components of a neural network.
• Abstract（参考訳）: リプシッツ連続性(Lipschitz continuity)に触発された新しい定義である知識連続性(nowledge continuity)は、入力ドメイン(例えば、視覚と言語における連続的および離散的ドメイン)にわたるニューラルネットワークの堅牢性を証明することを目的としている。 ロバスト性、特にリプシッツ連続性を証明しようとする既存のアプローチは、ノルムと分布に依存した保証を持つ連続領域内にある。 対照的に、提案した定義は、ニューラルネットワークの損失関数と中間学習距離空間にのみ依存することを保証する。 これらの境界は、領域のモダリティ、ノルム、分布とは独立である。 さらに、モデルクラスの表現性はその知識の連続性と一致しないことを示す。 これは、知識の連続性を最大化することによって堅牢性を達成することは、理論的には推論性能を妨げるべきではないことを意味する。 最後に、我々の理論的結果を補完するために、正規化や認証アルゴリズムなどの知識連続性の応用をいくつか提示し、ニューラルネットワークの脆弱なコンポーネントをローカライズするために知識連続性を用いることを示す。

関連論文リスト

• Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization [53.15874572081944]
  ディープラーニングフレームワークにおける計算可能性について,2つの観点から検討する。 根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を示す。 最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-12T15:02:26Z)
• Learning-Based Verification of Stochastic Dynamical Systems with Neural Network Policies [7.9898826915621965]
  我々は、他のニューラルネットワークをトレーニングする検証手順を使用し、ポリシーがタスクを満足することを示す証明書として機能する。 リーチ回避タスクでは、この証明ネットワークがリーチ回避スーパーマーチンゲール(RASM)であることを示すのに十分である。
  論文  参考訳（メタデータ） (2024-06-02T18:19:19Z)
• DARE: Towards Robust Text Explanations in Biomedical and Healthcare Applications [54.93807822347193]
  帰属ロバスト性評価手法を与えられたドメインに適応させ、ドメイン固有の妥当性を考慮する方法を示す。 次に,DAREが特徴とする脆さを軽減するために,対人訓練とFAR訓練の2つの方法を提案する。 最後に,確立した3つのバイオメディカル・ベンチマークを用いて実験を行い,本手法を実証的に検証した。
  論文  参考訳（メタデータ） (2023-07-05T08:11:40Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Interpretable Self-Aware Neural Networks for Robust Trajectory Prediction [50.79827516897913]
  本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。 実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-16T06:28:20Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Coarse-Grained Smoothness for RL in Metric Spaces [13.837098609529257]
  一般的なアプローチは、Q-函数のリプシッツ連続性を仮定することである。 残念なことに、この性質は多くの典型的な領域で保持できない。 リプシッツ連続性の概念を一般化する新しい粗粒度滑らか性定義を提案する。
  論文  参考訳（メタデータ） (2021-10-23T18:53:56Z)
• On the Regularity of Attention [11.703070372807293]
  本稿では,測度理論と積分演算子を用いて注意をモデル化する新しい数学的枠組みを提案する。 このフレームワークは通常の定義と一致しており、注意の本質的な特性を捉えていることを示す。 また、NLPモデルに対する正則性の影響や、可逆・無限深度ネットワークへの応用についても論じる。
  論文  参考訳（メタデータ） (2021-02-10T18:40:11Z)
• Uncertainty Quantification for Inferring Hawkes Networks [13.283258096829146]
  ネットワークデータからノード間の因果関係を学習するための統計的推論フレームワークを開発した。 ネットワークホークス過程の最大推定値に対する不確かさの定量化を行う。
  論文  参考訳（メタデータ） (2020-06-12T23:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。