論文の概要: Invariance Measures for Neural Networks

• arxiv url: http://arxiv.org/abs/2310.17404v1
• Date: Thu, 26 Oct 2023 13:59:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 20:09:25.007421
• Title: Invariance Measures for Neural Networks
• Title（参考訳）: ニューラルネットワークの不変性尺度
• Authors: Facundo Manuel Quiroga and Jordina Torrents-Barrena and Laura Cristina Lanzarini and Domenec Puig-Valls
• Abstract要約: 本稿では,ニューラルネットワークの内部表現の不変性を定量化する手法を提案する。 これらの測定は効率的で解釈可能であり、任意のニューラルネットワークモデルに適用できる。
• 参考スコア（独自算出の注目度）: 1.2845309023495566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Invariances in neural networks are useful and necessary for many tasks. However, the representation of the invariance of most neural network models has not been characterized. We propose measures to quantify the invariance of neural networks in terms of their internal representation. The measures are efficient and interpretable, and can be applied to any neural network model. They are also more sensitive to invariance than previously defined measures. We validate the measures and their properties in the domain of affine transformations and the CIFAR10 and MNIST datasets, including their stability and interpretability. Using the measures, we perform a first analysis of CNN models and show that their internal invariance is remarkably stable to random weight initializations, but not to changes in dataset or transformation. We believe the measures will enable new avenues of research in invariance representation.
• Abstract（参考訳）: ニューラルネットワークの不変性は多くのタスクに有用で必要である。 しかし、ほとんどのニューラルネットワークモデルの不変性の表現は特徴付けられていない。 本稿では,ニューラルネットワークの内部表現の非分散を定量化する手法を提案する。 これらの測定は効率的で解釈可能であり、任意のニューラルネットワークモデルに適用できる。 それらはまた、以前に定義された測度よりも不変性に敏感である。 我々は,アフィン変換領域とCIFAR10およびMNISTデータセットの安定性と解釈可能性を含む測定とその特性を検証する。 この尺度を用いて, cnnモデルの最初の解析を行い, その内部不変性は, データセットや変換の変化ではなく, ランダムウェイト初期化に対して著しく安定であることを示した。 我々はこの尺度が不変表現における新しい研究の道を開くと信じている。

関連論文リスト

• Trade-Offs of Diagonal Fisher Information Matrix Estimators [53.35448232352667]
  Fisher情報行列は、ニューラルネットワークのパラメータ空間の局所幾何学を特徴付けるのに使うことができる。 精度とサンプルの複雑さが関連する分散に依存する2つの人気推定器について検討する。 分散のバウンダリを導出し、回帰と分類のためにニューラルネットワークでそれらをインスタンス化する。
  論文  参考訳（メタデータ） (2024-02-08T03:29:10Z)
• What Affects Learned Equivariance in Deep Image Recognition Models? [10.590129221143222]
  ImageNet上で,学習した翻訳の等価性と検証精度の相関関係を示す証拠が発見された。 データ拡張、モデルのキャパシティの低減、畳み込みの形での帰納バイアスは、ニューラルネットワークにおいてより高い学習等価性をもたらす。
  論文  参考訳（メタデータ） (2023-04-05T17:54:25Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Measuring Representational Robustness of Neural Networks Through Shared Invariances [45.94090422087775]
  ディープラーニングにおける堅牢性の研究における大きな課題は、与えられたニューラルネットワーク(NN)が不変であるべき無意味な摂動の集合を定義することである。 頑健性に関するほとんどの研究は、そのような摂動を定義する基準モデルとして人間を暗黙的に用いている。 我々の研究は、あるNNが不変であるべき摂動のセットを定義するために、別のリファレンスNNを使用することで、ロバストネスに関する新しい見解を提供する。
  論文  参考訳（メタデータ） (2022-06-23T18:49:13Z)
• Learning Invariant Weights in Neural Networks [16.127299898156203]
  機械学習でよく使われるモデルの多くは、データ内の特定の対称性を尊重することを制約している。 本稿では,ニューラルネットワークにおける不変性学習の限界値の最小化により,このアプローチに準ずる重み空間を提案する。
  論文  参考訳（メタデータ） (2022-02-25T00:17:09Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Physical invariance in neural networks for subgrid-scale scalar flux modeling [5.333802479607541]
  物理インフォームドニューラルネットワーク(NN)を用いた3次元乱流非圧縮性流れのサブグリッドスケールスカラーフラックスをモデル化するための新しい戦略を提案する。 提案した変換不変NNモデルは、純粋にデータ駆動モデルとパラメトリックなサブグリッドスケールモデルの両方より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-09T16:09:54Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。