論文の概要: What does a deep neural network confidently perceive? The effective dimension of high certainty class manifolds and their low confidence boundaries

• arxiv url: http://arxiv.org/abs/2210.05546v1
• Date: Tue, 11 Oct 2022 15:42:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 14:45:05.444928
• Title: What does a deep neural network confidently perceive? The effective dimension of high certainty class manifolds and their low confidence boundaries
• Title（参考訳）: ディープニューラルネットワークは、何に自信を持って知覚するか? 高確信度クラス多様体の有効次元とその低信頼境界
• Authors: Stanislav Fort, Ekin Dogus Cubuk, Surya Ganguli, Samuel S. Schoenholz
• Abstract要約: ディープニューラルネットワーク分類器は、入力空間を各クラスに対して高い信頼領域に分割する。 我々はガウス幅の概念とゴードンの脱出定理を利用してCMの有効次元を正確に推定する。 CMの次元、一般化、ロバスト性の間のいくつかの関係を示す。
• 参考スコア（独自算出の注目度）: 53.45325448933401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural network classifiers partition input space into high confidence regions for each class. The geometry of these class manifolds (CMs) is widely studied and intimately related to model performance; for example, the margin depends on CM boundaries. We exploit the notions of Gaussian width and Gordon's escape theorem to tractably estimate the effective dimension of CMs and their boundaries through tomographic intersections with random affine subspaces of varying dimension. We show several connections between the dimension of CMs, generalization, and robustness. In particular we investigate how CM dimension depends on 1) the dataset, 2) architecture (including ResNet, WideResNet \& Vision Transformer), 3) initialization, 4) stage of training, 5) class, 6) network width, 7) ensemble size, 8) label randomization, 9) training set size, and 10) robustness to data corruption. Together a picture emerges that higher performing and more robust models have higher dimensional CMs. Moreover, we offer a new perspective on ensembling via intersections of CMs. Our code is at https://github.com/stanislavfort/slice-dice-optimize/
• Abstract（参考訳）: ディープニューラルネットワーク分類器は、入力空間を各クラスの高い信頼領域に分割する。 これらのクラス多様体(CM)の幾何学は、モデルのパフォーマンスに広く研究され、密接に関連している。 我々はガウス幅の概念とゴードンの脱出定理を利用して、様々な次元のランダムなアフィン部分空間を持つトモグラフィ的交叉を通してCMとその境界の有効次元を正確に推定する。 CMの次元、一般化、ロバスト性の間のいくつかの関係を示す。 特にCM次元がどのように依存するかを考察する。 1)データセット。 2)アーキテクチャ(ResNet、WideResNet \& Vision Transformerを含む) 3)初期化。 4) 訓練の段階。 5) クラス。 6)ネットワーク幅。 7) アンサンブルサイズ, 8) ラベルランダム化。 9)トレーニングセットのサイズ、及び 10)データ破損に対する堅牢性。 高い性能とより堅牢なモデルが高次元CMを持つという図が一緒に現れる。 さらに,cmsの交差によるセンシングに関する新たな視点を提案する。 私たちのコードはhttps://github.com/stanislavfort/slice-dice-optimize/にあります。

関連論文リスト

• Kick Back & Relax++: Scaling Beyond Ground-Truth Depth with SlowTV & CribsTV [50.616892315086574]
  本稿では,SlowTV と CribsTV の2つの新しいデータセットを提案する。 これらは、一般公開されているYouTubeビデオから収集された大規模なデータセットで、合計200万のトレーニングフレームが含まれている。 我々はこれらのデータセットを活用し、ゼロショット一般化の難しい課題に取り組む。
  論文  参考訳（メタデータ） (2024-03-03T17:29:03Z)
• Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
  我々は、失われたヘッセンのレンズを通して風景を研究する。 我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。 ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• Data Representations' Study of Latent Image Manifolds [5.801621787540268]
  画像分類のための最先端の訓練された畳み込みニューラルネットワークは、層に沿って特徴的な曲率プロファイルを持つことがわかった。 また,最後の2層間の曲率ギャップは,ネットワークの一般化能力と強く相関していることを示す。
  論文  参考訳（メタデータ） (2023-05-31T10:49:16Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Origami in N dimensions: How feed-forward networks manufacture linear separability [1.7404865362620803]
  フィードフォワードアーキテクチャは,非占有高次元におけるデータ多様体のプログレッシブフォールディング(プログレッシブフォールディング)という,分離性を達成するための主要なツールを手元に持っていることを示す。 せん断に基づく代替手法は、非常に深いアーキテクチャを必要とするが、現実のネットワークでは小さな役割しか果たさないと我々は主張する。 メカニスティックな洞察に基づいて、分離性の生成は必然的に、混合選択性およびバイモーダルチューニング曲線を示すニューロンを伴っていると予測する。
  論文  参考訳（メタデータ） (2022-03-21T21:33:55Z)
• Exploring the Common Principal Subspace of Deep Features in Neural Networks [50.37178960258464]
  我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。 具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。 異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
  論文  参考訳（メタデータ） (2021-10-06T15:48:32Z)
• Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
  本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。 クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。 MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
  論文  参考訳（メタデータ） (2021-06-08T00:30:43Z)
• More Diverse Means Better: Multimodal Deep Learning Meets Remote Sensing Imagery Classification [43.35966675372692]
  ディープネットワークをトレーニングし、ネットワークアーキテクチャを構築する方法を示します。 特に、深層ネットワークをトレーニングし、ネットワークアーキテクチャを構築する方法と同様に、異なる融合戦略を示す。 我々のフレームワークは画素単位の分類タスクに限らず、畳み込みニューラルネットワーク(CNN)を用いた空間情報モデリングにも適用できる。
  論文  参考訳（メタデータ） (2020-08-12T17:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。