論文の概要: 1-Lipschitz Layers Compared: Memory, Speed, and Certifiable Robustness

• arxiv url: http://arxiv.org/abs/2311.16833v1
• Date: Tue, 28 Nov 2023 14:50:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 18:04:05.319280
• Title: 1-Lipschitz Layers Compared: Memory, Speed, and Certifiable Robustness
• Title（参考訳）: 1-Lipschitz 層の比較:記憶、速度、証明可能なロバスト性
• Authors: Bernd Prach, Fabio Brau, Giorgio Buttazzo, Christoph H. Lampert
• Abstract要約: 境界等級の入力摂動に対するニューラルネットワークの堅牢性は、ディープラーニングモデルの安全クリティカルシステムへの展開において深刻な関心事である。 近年、科学コミュニティは、リプシッツ境界層と畳み込み層を利用する1-Lipschitzニューラルネットワークを構築することで、証明可能な堅牢性を保証することに重点を置いている。 本稿では, メモリ使用量, 速度, 証明可能なロバストな精度で評価することで, 提案手法の理論的, 実証的な比較を行う。
• 参考スコア（独自算出の注目度）: 22.09354138194545
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The robustness of neural networks against input perturbations with bounded magnitude represents a serious concern in the deployment of deep learning models in safety-critical systems. Recently, the scientific community has focused on enhancing certifiable robustness guarantees by crafting 1-Lipschitz neural networks that leverage Lipschitz bounded dense and convolutional layers. Although different methods have been proposed in the literature to achieve this goal, understanding the performance of such methods is not straightforward, since different metrics can be relevant (e.g., training time, memory usage, accuracy, certifiable robustness) for different applications. For this reason, this work provides a thorough theoretical and empirical comparison between methods by evaluating them in terms of memory usage, speed, and certifiable robust accuracy. The paper also provides some guidelines and recommendations to support the user in selecting the methods that work best depending on the available resources. We provide code at https://github.com/berndprach/1LipschitzLayersCompared.
• Abstract（参考訳）: 境界等級の入力摂動に対するニューラルネットワークの堅牢性は、深層学習モデルの安全クリティカルシステムへの展開において深刻な懸念を示している。 近年、科学コミュニティは、リプシッツ境界層と畳み込み層を利用する1-Lipschitzニューラルネットワークを構築することで、証明可能な堅牢性を保証することに重点を置いている。 この目的を達成するために文献で異なる手法が提案されているが、異なるメトリクス(例えば、トレーニング時間、メモリ使用量、正確性、証明可能な堅牢性)を異なるアプリケーションに適用できるため、そのような手法の性能を理解することは簡単ではない。 このため、この研究は、メモリ使用量、速度、証明可能な堅牢な精度で評価することで、メソッド間の理論的および実証的な比較を徹底的に提供する。 また、利用可能なリソースに応じて最適な方法を選択する際に、ユーザを支援するためのガイドラインや勧告も提供している。 私たちはhttps://github.com/berndprach/1LipschitzLayersComparedでコードを提供しています。

関連論文リスト

• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Smooth-Reduce: Leveraging Patches for Improved Certified Robustness [100.28947222215463]
  本研究では,Smooth-Reduce の学習自由な修正スムース化手法を提案する。 提案アルゴリズムは,入力画像から抽出した重なり合うパッチを分類し,予測ロジットを集約して,入力周辺の半径が大きいことを証明する。 我々は,このような証明書の理論的保証を提供し,他のランダムな平滑化手法に対する顕著な改善を実証的に示す。
  論文  参考訳（メタデータ） (2022-05-12T15:26:20Z)
• Compare learning: bi-attention network for few-shot learning [6.559037166322981]
  距離学習と呼ばれる数ショットの学習手法の1つは、画像のペアが同じカテゴリに属しているかどうかを判断するために、まず遠距離計量を学習することで、この課題に対処する。 本稿では, インスタンスの埋め込みの類似性を正確に, グローバルかつ効率的に測定できる, Bi-attention Network という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-25T07:39:10Z)
• A Framework and Benchmark for Deep Batch Active Learning for Regression [2.093287944284448]
  ラベル付きデータのバッチを適応的に選択する能動的学習法について検討した。 本稿では,ネットワークに依存した)ベースカーネル,カーネル変換,選択メソッドからそのようなメソッドを構築するためのフレームワークを提案する。 提案手法は,我々のベンチマークの最先端性,大規模データセットへのスケール,ネットワークアーキテクチャやトレーニングコードを調整することなく,アウト・オブ・ボックスで動作する。
  論文  参考訳（メタデータ） (2022-03-17T16:11:36Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Benchmarking the Accuracy and Robustness of Feedback Alignment Algorithms [1.2183405753834562]
  バックプロパゲーションは、その単純さ、効率性、高収束率のために、ディープニューラルネットワークをトレーニングするためのデフォルトのアルゴリズムである。 近年,より生物学的に妥当な学習法が提案されている。 BioTorchは、生物学的に動機付けられたニューラルネットワークを作成し、トレーニングし、ベンチマークするソフトウェアフレームワークである。
  論文  参考訳（メタデータ） (2021-08-30T18:02:55Z)
• Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep Learning [66.59455427102152]
  不確実性ベースライン(Uncertainty Baselines): 各種タスクにおける標準および最先端のディープラーニング手法の高品質な実装。 各ベースラインは、簡単に再利用可能で拡張可能なコンポーネントを備えた、自己完結型の実験パイプラインである。 モデルチェックポイント、Pythonノートブックとしての実験出力、結果を比較するためのリーダーボードを提供する。
  論文  参考訳（メタデータ） (2021-06-07T23:57:32Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• A Closer Look at Accuracy vs. Robustness [94.2226357646813]
  堅牢なネットワークをトレーニングする現在の方法は、テスト精度の低下につながる。 実際の画像データセットが実際に分離されていることを示す。 我々は、実際に堅牢性と精度を達成するには、局所的なリプシッツを強制する手法を使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2020-03-05T07:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。