論文の概要: Interpretable Estimation of CNN Deep Feature Density using Copula and the Generalized Characteristic Function

• arxiv url: http://arxiv.org/abs/2411.05183v3
• Date: Tue, 05 Aug 2025 20:59:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 15:43:07.594135
• Title: Interpretable Estimation of CNN Deep Feature Density using Copula and the Generalized Characteristic Function
• Title（参考訳）: コプラと一般化特徴関数を用いたCNN深部特徴密度の解釈可能推定
• Authors: David Chapman, Parniyan Farvardin,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)の深い特徴の確率密度関数(PDF)を推定するための新しい実証的アプローチを提案する。 主要ブロック後の非負の深いCNN特徴の1次元境界はガウス分布によってよく近似されない。 ネットワークの深度によって深い特徴が長期化していくのを我々は観察するが、驚くべきことにこの増加率は理論的な推定よりもはるかに遅い。
• 参考スコア（独自算出の注目度）: 1.9797215742507548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel empirical approach toward estimating the Probability Density Function (PDF) of the deep features of Convolutional Neural Networks (CNNs). Estimating the PDF of deep CNN features is an important task, because it will yield new insight into deep representations. Moreover, characterizing the statistical behavior has implications for the feasibility of promising downstream tasks such as density based anomaly detection. Expressive, yet interpretable estimation of the deep feature PDF is challenging due to the Curse of Dimensionality (CoD) as well as our limited ability to comprehend high-dimensional inter-dependencies. Our novel estimation technique combines copula analysis with the Method of Orthogonal Moments (MOM), in order to directly estimate the Generalized Characteristic Function (GCF) of the multivariate deep feature PDF. We find that the one-dimensional marginals of non-negative deep CNN features after major blocks are not well approximated by a Gaussian distribution, and that the features of deep layers are much better approximated by the Exponential, Gamma, and/or Weibull distributions. Furthermore, we observe that deep features become increasingly long-tailed with network depth, although surprisingly the rate of this increase is much slower than theoretical estimates. Finally, we observe that many deep features exhibit strong dependence (either correlation or anti-correlation) with other extremely strong detections, even if these features are independent within typical ranges. We elaborate on these findings in our discussion, where we hypothesize that the long-tail of large valued features corresponds to the strongest computer vision detections of semantic targets, which would imply that these large-valued features are not outliers but rather an important detection signal.
• Abstract（参考訳）: 本稿では,畳み込みニューラルネットワーク(CNN)の深い特徴の確率密度関数(PDF)を推定するための新しい経験的アプローチを提案する。 ディープCNN機能のPDFを推定することは重要なタスクである。 さらに, 統計的挙動の特徴付けは, 密度に基づく異常検出など, 有望な下流タスクの実現可能性に影響を及ぼす。 深い特徴PDFの表現的かつ解釈可能な推定は、高次元の相互依存を理解する能力に限界があるとともに、次元の曲線(CoD)によって困難である。 本手法は,多変量深部特徴PDFの一般特徴関数(GCF)を直接推定するために,コプラ解析と直交モーメント法(MOM)を組み合わせた手法である。 主要ブロック後の非負の深部CNN特徴の1次元辺はガウス分布によってよく近似されておらず、深部層の特徴は指数分布、ガンマ分布、ワイブル分布によりはるかによく近似されている。 さらに,ネットワーク深度により深い特徴が長くなる傾向が観察されるが,この増加率は理論的な推定よりもはるかに遅い。 最後に、多くの深い特徴が、たとえそれらの特徴が典型的な範囲内で独立であっても、他の非常に強い検出と強い依存(相関や反相関)を示すことを観察する。 本論では,大きな特徴の長い尾はセマンティックターゲットの最も強力なコンピュータビジョン検出と一致すると仮定し,これらの大きな特徴は外れ値ではなく重要な検出信号であることを示す。

関連論文リスト

• Identifiability of Deep Polynomial Neural Networks [2.747263800047993]
  多項式ニューラルネットワーク (Polynomial Neural Networks, PNN) は代数的および幾何学的構造を持つ。 彼らの識別可能性 -- 解釈可能性を保証するための重要な特性 -- は、いまだに理解されていない。 本稿では,深部PNNの識別可能性に関する包括的分析を行う。
  論文  参考訳（メタデータ） (2025-06-20T15:58:46Z)
• Quantification of Uncertainties in Probabilistic Deep Neural Network by Implementing Boosting of Variational Inference [0.38366697175402226]
  Boosted Bayesian Neural Networks (BBNN)は、ニューラルネットワークの重み分布近似を強化する新しいアプローチである。 BBNNは従来のニューラルネットワークに比べて5%高い精度を実現している。
  論文  参考訳（メタデータ） (2025-03-18T05:11:21Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Hessian Eigenvectors and Principal Component Analysis of Neural Network Weight Matrices [0.0]
  この研究は、訓練された深層ニューラルネットワークの複雑なダイナミクスと、それらのネットワークパラメータとの関係について考察する。 ヘッセン固有ベクトルとネットワーク重みの関係を明らかにする。 この関係は固有値の大きさに依存し、ネットワーク内のパラメータの方向を識別することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:38:31Z)
• A Geometrical Approach to Evaluate the Adversarial Robustness of Deep Neural Networks [52.09243852066406]
  対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。 我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
  論文  参考訳（メタデータ） (2023-10-10T09:39:38Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Learning in latent spaces improves the predictive accuracy of deep neural operators [0.0]
  L-DeepONetは標準のDeepONetの拡張であり、高次元PDE入力の潜在表現と適切なオートエンコーダで識別される出力関数を利用する。 L-DeepONetは時間依存PDEの精度と計算効率の両面で標準手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-15T17:13:09Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Deep Networks Provably Classify Data on Curves [12.309532551321334]
  本研究では, 完全連結ニューラルネットワークを用いて, 単位球上の2つの不連続な滑らかな曲線から引き出されたデータを分類するモデル問題について検討する。 i) ネットワーク深度が問題の難易度と (ii) ネットワーク幅と標本数に固有の性質に比例すると, ランダムな勾配降下は2つの曲線上のすべての点を高い確率で正しく分類する。
  論文  参考訳（メタデータ） (2021-07-29T20:40:04Z)
• Understanding the Distributions of Aggregation Layers in Deep Neural Networks [8.784438985280092]
  集約関数は、よりコンパクトな表現に深い特徴を統合するための重要なメカニズムである。 特に、DNNの出力層へのグローバルアグリゲーション層の近接は、集約された特徴がディープネットの性能に直接的な影響を与えることを意味する。 本稿では,深い特徴集約に関わるレイヤの出力値の確率分布を解析的にモデル化する,新しい数学的定式化を提案する。
  論文  参考訳（メタデータ） (2021-07-09T14:23:57Z)
• Non-asymptotic Excess Risk Bounds for Classification with Deep Convolutional Neural Networks [6.051520664893158]
  本稿では,一般の深層畳み込みニューラルネットワークを用いたバイナリ分類の問題を考える。 我々は、入力データ次元と他のモデルパラメータの観点から、リスク境界の要素を定義する。 CNNを用いた分類手法は次元の呪いを回避できることを示す。
  論文  参考訳（メタデータ） (2021-05-01T15:55:04Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• The Spectrum of Fisher Information of Deep Networks Achieving Dynamical Isometry [9.289846887298852]
  Fisher InformationMatrix (FIM) はディープニューラルネット(DNN)のトレーニング可能性を理解するための基礎となる。 完全接続ネットワークに着目し, 単一サンプルのFIMである条件付きFIMのスペクトル分布について検討した。 パラメータ空間の局所距離は、動的等距離の下でも線形に深さに依存する。
  論文  参考訳（メタデータ） (2020-06-14T06:32:46Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。