論文の概要: Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy
- arxiv url: http://arxiv.org/abs/2312.04823v1
- Date: Mon, 4 Dec 2023 01:32:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 14:59:56.782447
- Title: Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy
- Title（参考訳）: 雑音耐性拡散スペクトルエントロピーを用いたトレーニング中のニューラルネットワーク表現の評価
- Authors: Danqi Liao, Chen Liu, Benjamin W. Christensen, Alexander Tong,
Guillaume Huguet, Guy Wolf, Maximilian Nickel, Ian Adelstein, Smita
Krishnaswamy
- Abstract要約: ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
- 参考スコア（独自算出の注目度）: 55.014926694758195
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Entropy and mutual information in neural networks provide rich information on
the learning process, but they have proven difficult to compute reliably in
high dimensions. Indeed, in noisy and high-dimensional data, traditional
estimates in ambient dimensions approach a fixed entropy and are prohibitively
hard to compute. To address these issues, we leverage data geometry to access
the underlying manifold and reliably compute these information-theoretic
measures. Specifically, we define diffusion spectral entropy (DSE) in neural
representations of a dataset as well as diffusion spectral mutual information
(DSMI) between different variables representing data. First, we show that they
form noise-resistant measures of intrinsic dimensionality and relationship
strength in high-dimensional simulated data that outperform classic Shannon
entropy, nonparametric estimation, and mutual information neural estimation
(MINE). We then study the evolution of representations in classification
networks with supervised learning, self-supervision, or overfitting. We observe
that (1) DSE of neural representations increases during training; (2) DSMI with
the class label increases during generalizable learning but stays stagnant
during overfitting; (3) DSMI with the input signal shows differing trends: on
MNIST it increases, while on CIFAR-10 and STL-10 it decreases. Finally, we show
that DSE can be used to guide better network initialization and that DSMI can
be used to predict downstream classification accuracy across 962 models on
ImageNet. The official implementation is available at
https://github.com/ChenLiu-1996/DiffusionSpectralEntropy.
- Abstract（参考訳）: ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供するが、高い次元で確実に計算することが困難であることが証明されている。
実際、ノイズや高次元のデータでは、環境次元における従来の推定値は固定エントロピーに近づき、計算が困難である。
これらの問題に対処するために、データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論の測度を確実に計算する。
具体的には、データセットの神経表現における拡散スペクトルエントロピー(DSE)と、データを表す変数間の拡散スペクトル相互情報(DSMI)を定義する。
まず,従来のシャノンエントロピー,非パラメトリック推定,相互情報ニューラル推定(MINE)より優れる高次元シミュレーションデータにおいて,固有次元と関係強度の耐雑音性の測定を行った。
次に、教師付き学習、自己監督、過剰適合を伴う分類ネットワークにおける表現の進化を研究する。
1) 訓練中は, 神経表現のdseが増加する, (2) 一般学習中はクラスラベル付きdsmiが増加するが, オーバーフィッティング中は停滞する, (3) 入力信号付きdsmiは異なる傾向を示す: mnistでは, cifar-10 と stl-10 では減少する。
最後に、DSEを用いてより優れたネットワーク初期化を導出し、画像ネット上の962モデルにわたる下流分類精度をDSMIで予測できることを示す。
公式実装はhttps://github.com/chenliu-1996/diffusionspectralentropyで利用可能である。
関連論文リスト
- Average gradient outer product as a mechanism for deep neural collapse [26.939895223897572]
Deep Neural Collapse (DNC)は、Deep Neural Networks (DNN)の最終層におけるデータ表現の驚くほど硬い構造を指す。
本研究では,平均勾配外積(AGOP)を通した特徴学習によりDNCが生成するデータ依存環境を提案する。
特徴学習体制下で訓練されたニューラルネットワークに対して,適切な特異ベクトルと重みの値が,クラス内変動の崩壊の大部分の原因となることを示す。
論文 参考訳（メタデータ） (2024-02-21T11:40:27Z) - A Generative Self-Supervised Framework using Functional Connectivity in
fMRI Data [15.211387244155725]
機能的磁気共鳴イメージング(fMRI)データから抽出した機能的接続性(FC)ネットワークを訓練したディープニューラルネットワークが人気を博している。
グラフニューラルネットワーク(GNN)のFCへの適用に関する最近の研究は、FCの時間変化特性を活用することにより、モデル予測の精度と解釈可能性を大幅に向上させることができることを示唆している。
高品質なfMRIデータとそれに対応するラベルを取得するための高コストは、実環境において彼らのアプリケーションにハードルをもたらす。
本研究では,動的FC内の時間情報を効果的に活用するためのSSL生成手法を提案する。
論文 参考訳（メタデータ） (2023-12-04T16:14:43Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Neural Koopman prior for data assimilation [7.875955593012905]
ニューラルネットワークアーキテクチャを使って、潜在空間に動的システムを埋め込む。
本研究では,このようなモデルを長期の継続的再構築のために訓練する手法を提案する。
また,変動データ同化手法の先行として,訓練された動的モデルの有望な利用を示すとともに,自己教師型学習の可能性も示された。
論文 参考訳（メタデータ） (2023-09-11T09:04:36Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - Multi-fidelity Bayesian Neural Networks: Algorithms and Applications [0.0]
本稿では,可変忠実度の雑音データを用いて訓練できるベイズ型ニューラルネットワーク(BNN)を提案する。
関数近似の学習や、偏微分方程式(PDE)に基づく逆問題の解法に応用する。
論文 参考訳（メタデータ） (2020-12-19T02:03:53Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。