論文の概要: Interpretable Measurement of CNN Deep Feature Density using Copula and the Generalized Characteristic Function

• arxiv url: http://arxiv.org/abs/2411.05183v1
• Date: Thu, 07 Nov 2024 21:04:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:55:24.445809
• Title: Interpretable Measurement of CNN Deep Feature Density using Copula and the Generalized Characteristic Function
• Title（参考訳）: コプラを用いたCNN深部特徴密度の解釈的測定と一般化特性関数
• Authors: David Chapman, Parniyan Farvardin,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)の深い特徴の確率密度関数(PDF)を測定するための新しい実証的アプローチを提案する。 意外なことに、主要ブロック後の非負の深いCNN特徴の1次元境界はガウス分布によってよく近似されていない。 我々は、ネットワーク深度が典型的な範囲内で増加するにつれて、深い特徴がますます独立化するのを観察する。
• 参考スコア（独自算出の注目度）: 1.9797215742507548
• License:
• Abstract: We present a novel empirical approach toward measuring the Probability Density Function (PDF) of the deep features of Convolutional Neural Networks (CNNs). Measurement of the deep feature PDF is a valuable problem for several reasons. Notably, a. Understanding the deep feature PDF yields new insight into deep representations. b. Feature density methods are important for tasks such as anomaly detection which can improve the robustness of deep learning models in the wild. Interpretable measurement of the deep feature PDF is challenging due to the Curse of Dimensionality (CoD), and the Spatial intuition Limitation. Our novel measurement technique combines copula analysis with the Method of Orthogonal Moments (MOM), in order to directly measure the Generalized Characteristic Function (GCF) of the multivariate deep feature PDF. We find that, surprisingly, the one-dimensional marginals of non-negative deep CNN features after major blocks are not well approximated by a Gaussian distribution, and that these features increasingly approximate an exponential distribution with increasing network depth. Furthermore, we observe that deep features become increasingly independent with increasing network depth within their typical ranges. However, we surprisingly also observe that many deep features exhibit strong dependence (either correlation or anti-correlation) with other extremely strong detections, even if these features are independent within typical ranges. We elaborate on these findings in our discussion, where we propose a new hypothesis that exponentially infrequent large valued features correspond to strong computer vision detections of semantic targets, which would imply that these large-valued features are not outliers but rather an important detection signal.
• Abstract（参考訳）: 本稿では、畳み込みニューラルネットワーク(CNN)の深い特徴の確率密度関数(PDF)を測定するための新しい実証的アプローチを提案する。 ディープフィーチャPDFの測定は、いくつかの理由から重要な問題である。 特に。 a) 深い特徴のPDFを理解することは、深い表現に関する新たな洞察をもたらす。 b.特徴密度法は,野生の深層学習モデルの堅牢性を向上する異常検出などのタスクにおいて重要である。 ディメンダリティの曲線 (CoD) と空間直観の限界により, PDF の解釈が困難である。 本手法は多変量深度PDFの一般特徴関数(GCF)を直接測定するために,コプラ解析と直交運動法(MOM)を組み合わせる。 意外なことに、主要ブロック後の非負の深いCNN特徴の1次元境界はガウス分布によって十分に近似されず、これらの特徴はネットワーク深度の増加とともに指数分布を近似する傾向にある。 さらに,ネットワークの深度が典型範囲内で増加するにつれて,深い特徴が次第に独立化していくことが観察された。 しかし,多くの深い特徴が強い依存(相関関係や反相関関係)を示し,他の非常に強い検出結果が典型的範囲で独立であったとしても,意外な結果が得られた。 本稿では,これらの知見を考察し,指数関数的に少ない大きな特徴がセマンティックターゲットの強いコンピュータビジョン検出に対応するという新たな仮説を提案し,これらの大きな特徴が外れ値ではなく重要な検出信号であることを示す。

関連論文リスト

• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Hessian Eigenvectors and Principal Component Analysis of Neural Network Weight Matrices [0.0]
  この研究は、訓練された深層ニューラルネットワークの複雑なダイナミクスと、それらのネットワークパラメータとの関係について考察する。 ヘッセン固有ベクトルとネットワーク重みの関係を明らかにする。 この関係は固有値の大きさに依存し、ネットワーク内のパラメータの方向を識別することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:38:31Z)
• A Geometrical Approach to Evaluate the Adversarial Robustness of Deep Neural Networks [52.09243852066406]
  対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。 我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
  論文  参考訳（メタデータ） (2023-10-10T09:39:38Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Deep Networks Provably Classify Data on Curves [12.309532551321334]
  本研究では, 完全連結ニューラルネットワークを用いて, 単位球上の2つの不連続な滑らかな曲線から引き出されたデータを分類するモデル問題について検討する。 i) ネットワーク深度が問題の難易度と (ii) ネットワーク幅と標本数に固有の性質に比例すると, ランダムな勾配降下は2つの曲線上のすべての点を高い確率で正しく分類する。
  論文  参考訳（メタデータ） (2021-07-29T20:40:04Z)
• Understanding the Distributions of Aggregation Layers in Deep Neural Networks [8.784438985280092]
  集約関数は、よりコンパクトな表現に深い特徴を統合するための重要なメカニズムである。 特に、DNNの出力層へのグローバルアグリゲーション層の近接は、集約された特徴がディープネットの性能に直接的な影響を与えることを意味する。 本稿では,深い特徴集約に関わるレイヤの出力値の確率分布を解析的にモデル化する,新しい数学的定式化を提案する。
  論文  参考訳（メタデータ） (2021-07-09T14:23:57Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• The Spectrum of Fisher Information of Deep Networks Achieving Dynamical Isometry [9.289846887298852]
  Fisher InformationMatrix (FIM) はディープニューラルネット(DNN)のトレーニング可能性を理解するための基礎となる。 完全接続ネットワークに着目し, 単一サンプルのFIMである条件付きFIMのスペクトル分布について検討した。 パラメータ空間の局所距離は、動的等距離の下でも線形に深さに依存する。
  論文  参考訳（メタデータ） (2020-06-14T06:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。