論文の概要: Relative stability toward diffeomorphisms in deep nets indicates performance

• arxiv url: http://arxiv.org/abs/2105.02468v1
• Date: Thu, 6 May 2021 07:03:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 23:28:29.205008
• Title: Relative stability toward diffeomorphisms in deep nets indicates performance
• Title（参考訳）: ディープネットにおける微分同相写像に対する相対安定性は性能を示す
• Authors: Leonardo Petrini, Alessandro Favero, Mario Geiger, Matthieu Wyart
• Abstract要約: 微分同相性に対する安定性は、画像のベンチマークデータセットの性能と強く相関しないことを示す。 一般変換に対する微分同相性に対する安定性は、テスト誤差 $epsilon_t$ と著しく相関している。 CIFAR10と15の既知のアーキテクチャでは、$epsilon_tapprox 0.2sqrtR_f$を見つける。
• 参考スコア（独自算出の注目度）: 66.51503682738931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding why deep nets can classify data in large dimensions remains a challenge. It has been proposed that they do so by becoming stable to diffeomorphisms, yet existing empirical measurements support that it is often not the case. We revisit this question by defining a maximum-entropy distribution on diffeomorphisms, that allows to study typical diffeomorphisms of a given norm. We confirm that stability toward diffeomorphisms does not strongly correlate to performance on four benchmark data sets of images. By contrast, we find that the stability toward diffeomorphisms relative to that of generic transformations $R_f$ correlates remarkably with the test error $\epsilon_t$. It is of order unity at initialization but decreases by several decades during training for state-of-the-art architectures. For CIFAR10 and 15 known architectures, we find $\epsilon_t\approx 0.2\sqrt{R_f}$, suggesting that obtaining a small $R_f$ is important to achieve good performance. We study how $R_f$ depends on the size of the training set and compare it to a simple model of invariant learning.
• Abstract（参考訳）: ディープネットが大きな次元でデータを分類できる理由を理解することは依然として困難である。 微分同相写像に安定になることによってそれらが成り立つことが提案されているが、既存の経験的測定はそうでないことが多いことを裏付けている。 我々は、与えられたノルムの典型的な微分同相を研究できる微分同相写像の最大エントロピー分布を定義することで、この問題を再考する。 微分同相性に対する安定性は、4つのベンチマークデータセットのパフォーマンスと強く相関しないことを確認した。 対照的に、一般変換に対する微分同相性に対する安定性は、テスト誤差$\epsilon_t$と著しく相関している。 初期化時に順序が統一されるが、最先端アーキテクチャのトレーニング中に数十年減少する。 CIFAR10と15の既知のアーキテクチャでは、$\epsilon_t\approx 0.2\sqrt{R_f}$が見つかる。 我々は、R_f$がトレーニングセットのサイズに依存するかを調べ、それを不変学習の単純なモデルと比較する。

関連論文リスト

• Isomorphic Pruning for Vision Models [56.286064975443026]
  構造化プルーニングは、冗長なサブ構造を取り除くことによって、ディープニューラルネットワークの計算オーバーヘッドを低減する。 Isomorphic Pruningは、ネットワークアーキテクチャの範囲で有効性を示すシンプルなアプローチである。
  論文  参考訳（メタデータ） (2024-07-05T16:14:53Z)
• Deep Invertible Approximation of Topologically Rich Maps between Manifolds [17.60434807901964]
  位相的に興味深い多様体間の写像を安定に近似できるニューラルネットワークの設計法を示す。 局所ビリプシッツ写像、被覆空間、局所同相写像の間の位相的平行性を利用して、$mathcalT circ p circ MathcalE$ という形の新しいネットワークが局所微分同相の普遍近似器であることが分かる。 また、分子の分子イメージングを対称性で処理するためのアーキテクチャの拡張の可能性についても概説する。
  論文  参考訳（メタデータ） (2022-10-02T17:14:43Z)
• Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles [50.81061839052459]
  我々は確率論的問題として、堅牢な対実的説明の生成を定式化する。 アンサンブルモデルのロバスト性とベース学習者のロバスト性との関係を示す。 本手法は, 反実的説明から初期観測までの距離をわずかに増加させるだけで, 高いロバスト性を実現する。
  論文  参考訳（メタデータ） (2022-05-27T17:28:54Z)
• Measuring dissimilarity with diffeomorphism invariance [94.02751799024684]
  DID(DID)は、幅広いデータ空間に適用可能なペアワイズな相似性尺度である。 我々は、DIDが理論的研究と実用に関係のある特性を享受していることを証明する。
  論文  参考訳（メタデータ） (2022-02-11T13:51:30Z)
• Equivariant Discrete Normalizing Flows [10.867162810786361]
  離散層を用いた等変正規化フローの構築に着目する。 2つの新しい同変フロー:$G$-カップリングフローと$G$-Residualフローを導入する。 我々の構成である$G$-Residual Flowsも普遍的であり、$G$-equivariant diffeomorphismが$G$-Residual Flowによって正確にマッピング可能であることを証明している。
  論文  参考訳（メタデータ） (2021-10-16T20:16:00Z)
• Learning with invariances in random features and kernel models [19.78800773518545]
  モデルには不変な乱数特徴と不変なカーネルメソッドの2つのクラスを導入する。 サンプルサイズと非表示単位の数が寸法の推定値としてスケールする高次元状態における不変メソッドのテスト誤差を特徴づける。 アーキテクチャにおける不変性を利用すると、サンプルサイズの$dalpha$ factor($d$は次元を表す)と、非構造化アーキテクチャと同じテストエラーを達成するために隠されたユニットの数を節約できることを示す。
  論文  参考訳（メタデータ） (2021-02-25T23:06:21Z)
• A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
  本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。 我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
  論文  参考訳（メタデータ） (2021-01-18T15:40:27Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。