論文の概要: Measuring Representational Robustness of Neural Networks Through Shared Invariances

• arxiv url: http://arxiv.org/abs/2206.11939v1
• Date: Thu, 23 Jun 2022 18:49:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 12:46:09.795574
• Title: Measuring Representational Robustness of Neural Networks Through Shared Invariances
• Title（参考訳）: 共有不変性によるニューラルネットワークの表現ロバスト性の測定
• Authors: Vedant Nanda and Till Speicher and Camila Kolling and John P. Dickerson and Krishna P. Gummadi and Adrian Weller
• Abstract要約: ディープラーニングにおける堅牢性の研究における大きな課題は、与えられたニューラルネットワーク(NN)が不変であるべき無意味な摂動の集合を定義することである。 頑健性に関するほとんどの研究は、そのような摂動を定義する基準モデルとして人間を暗黙的に用いている。 我々の研究は、あるNNが不変であるべき摂動のセットを定義するために、別のリファレンスNNを使用することで、ロバストネスに関する新しい見解を提供する。
• 参考スコア（独自算出の注目度）: 45.94090422087775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major challenge in studying robustness in deep learning is defining the set of ``meaningless'' perturbations to which a given Neural Network (NN) should be invariant. Most work on robustness implicitly uses a human as the reference model to define such perturbations. Our work offers a new view on robustness by using another reference NN to define the set of perturbations a given NN should be invariant to, thus generalizing the reliance on a reference ``human NN'' to any NN. This makes measuring robustness equivalent to measuring the extent to which two NNs share invariances, for which we propose a measure called STIR. STIR re-purposes existing representation similarity measures to make them suitable for measuring shared invariances. Using our measure, we are able to gain insights into how shared invariances vary with changes in weight initialization, architecture, loss functions, and training dataset. Our implementation is available at: \url{https://github.com/nvedant07/STIR}.
• Abstract（参考訳）: 深層学習におけるロバスト性の研究における大きな課題は、与えられたニューラルネットワーク(nn)が不変であるべき `meaningless'' 摂動の集合を定義することである。 ほとんどの作業は暗黙的に人間を参照モデルとして使用し、そのような摂動を定義する。 我々の研究は、あるNNが不変であるべき摂動の集合を定義するために、別のリファレンスNNを使用することで、ロバストネスに関する新しい見解を提供する。 これにより、2つのNNが共分散の度合いを測ることと等価なロバスト性の測定が可能となり、STIRと呼ばれる測度を提案する。 STIRは既存の表現類似度対策を再利用し、共有不変度を測定するのに適している。 我々の測定値を用いて、重み付け初期化、アーキテクチャ、損失関数、トレーニングデータセットの変化に伴う共有不変性の変化について、洞察を得ることができる。 実装は \url{https://github.com/nvedant07/stir} で利用可能です。

関連論文リスト

• Invariance Measures for Neural Networks [1.2845309023495566]
  本稿では,ニューラルネットワークの内部表現の不変性を定量化する手法を提案する。 これらの測定は効率的で解釈可能であり、任意のニューラルネットワークモデルに適用できる。
  論文  参考訳（メタデータ） (2023-10-26T13:59:39Z)
• A Geometrical Approach to Evaluate the Adversarial Robustness of Deep Neural Networks [52.09243852066406]
  対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。 我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
  論文  参考訳（メタデータ） (2023-10-10T09:39:38Z)
• Sparse Function-space Representation of Neural Networks [23.4128813752424]
  ディープニューラルネットワーク(NN)は、不確実性推定が欠如していることや、新しいデータを組み込むのに苦労していることが知られている。 本稿では,NNを重み空間から関数空間に変換することにより,これらの問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:56:35Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression [0.0]
  回帰タスクの任意の次元に実装できる2つの比較指標を提案する。 構造計量は、真の誤差と不確かさの形状と位置の類似性を評価する一方、分布計量は、支持された2つの大きさを定量化する。 これらのメトリクスを高次元および非線形テストケースにおけるガウス過程(GP)、アンサンブルディープニューラルネット(DNN)、およびアンサンブルディープニューラルオペレータ(DNO)に適用する。
  論文  参考訳（メタデータ） (2022-03-09T04:16:31Z)
• Encoding Involutory Invariance in Neural Networks [1.6371837018687636]
  ある状況では、ニューラルネットワーク(NN)は、基礎となる物理対称性に従うデータに基づいて訓練される。 本研究では、関数がパリティまでのインボリュート線型/ファイン変換に対して不変な特別な対称性について検討する。 数値実験により,提案モデルが与えられた対称性を尊重しながらベースラインネットワークより優れていたことが示唆された。 また,本手法を水平/垂直反射対称性を持つデータセットに対する畳み込みNN分類タスクに適用する手法も提案されている。
  論文  参考訳（メタデータ） (2021-06-07T16:07:15Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Towards Understanding the Regularization of Adversarial Robustness on Neural Networks [46.54437309608066]
  正規化の観点から, 劣化について検討する。 私たちは、信頼性の低いソリューションに対してNNを正規化/バイアス化することで、ARが実現されていることに気付きました。
  論文  参考訳（メタデータ） (2020-11-15T08:32:09Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。