Fugu-MT 論文翻訳(概要): Approximate Spectral Decomposition of Fisher Information Matrix for Simple ReLU Networks

論文の概要: Approximate Spectral Decomposition of Fisher Information Matrix for Simple ReLU Networks

arxiv url: http://arxiv.org/abs/2111.15256v1
Date: Tue, 30 Nov 2021 10:17:13 GMT
ステータス: 処理完了
システム内更新日: 2021-12-01 15:55:00.861514
Title: Approximate Spectral Decomposition of Fisher Information Matrix for Simple ReLU Networks
Title（参考訳）: 単純reluネットワークのためのフィッシャー情報行列の近似スペクトル分解
Authors: Yoshinari Takeishi, Masazumi Iida, Jun'ichi Takeuchi
Abstract要約: 本稿では,ReLUアクティベーション機能を持つ隠蔽層ネットワークのフィッシャー情報行列(FIM)について検討する。特定の条件下でのFIMの近似スペクトル分解を得る。
参考スコア（独自算出の注目度）: 3.867363075280544
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We investigate the Fisher information matrix (FIM) of one hidden layer networks with the ReLU activation function and obtain an approximate spectral decomposition of FIM under certain conditions. From this decomposition, we can approximate the main eigenvalues and eigenvectors. We confirmed by numerical simulation that the obtained decomposition is approximately correct when the number of hidden nodes is about 10000.
Abstract（参考訳）: 本稿では,ReLUアクティベーション機能を持つ隠蔽層ネットワークのフィッシャー情報行列(FIM)について検討し,一定の条件下でのFIMの近似スペクトル分解を求める。この分解から、主固有値と固有ベクトルを近似することができる。数値シミュレーションにより,隠れノード数が約10000の場合,得られた分解がほぼ正しいことを確認した。

関連論文リスト

Neural Spectral Decomposition for Dataset Distillation [48.59372086450124]
本稿では,データセット蒸留のための一般的な分解フレームワークであるニューラルスペクトル分解を提案する。本研究の目的は,データセット全体の低ランク表現を発見し,効率的に蒸留を行うことである。提案手法はCIFAR10, CIFAR100, Tiny Imagenet, ImageNet Subsetなどのベンチマーク上での最先端性能を実現する。
論文参考訳（メタデータ） (2024-08-29T03:26:14Z)
Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
論文参考訳（メタデータ） (2024-05-23T12:26:25Z)
Improving Expressive Power of Spectral Graph Neural Networks with Eigenvalue Correction [55.57072563835959]
スペクトルグラフニューラルネットワークはフィルタによって特徴づけられる。本稿では,繰り返し入力される固有値の制約からフィルタを解放する固有値補正手法を提案する。
論文参考訳（メタデータ） (2024-01-28T08:12:00Z)
Eigenmatrix for unstructured sparse recovery [13.796981813494199]
例えば、有理近似、スペクトル関数推定、フーリエインバージョン、ラプラスインバージョン、スパースデコンボリューションなどがある。主な課題は、サンプル値のノイズとサンプル位置の非構造性である。このノートは、所望の近似固有値と固有ベクトルを持つデータ駆動構成である固有行列を提案する。
論文参考訳（メタデータ） (2023-11-28T08:54:29Z)
Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
論文参考訳（メタデータ） (2022-09-12T04:46:55Z)
Fast Rank-1 NMF for Missing Data with KL Divergence [8.020742121274417]
A1GMは入力行列から再構成されたランク1行列へのKLの発散を最小限にする。 A1GMは、競合する再構成誤差を持つ勾配法よりも効率的であることを示す。
論文参考訳（メタデータ） (2021-10-25T02:05:35Z)
Entropy Minimizing Matrix Factorization [102.26446204624885]
NMF(Nonnegative Matrix Factorization)は、広く使用されているデータ分析技術であり、多くの実際のタスクで印象的な結果をもたらしました。本研究では,上述の問題に対処するために,EMMF (Entropy Minimizing Matrix Factorization framework) を開発した。通常、外れ値が通常のサンプルよりもはるかに小さいことを考えると、行列分解のために新しいエントロピー損失関数が確立される。
論文参考訳（メタデータ） (2021-03-24T21:08:43Z)
A simpler spectral approach for clustering in directed networks [1.52292571922932]
隣接行列の固有値/固有ベクトル分解は、すべての一般的な方法よりも単純であることを示す。広く使われているk平均アルゴリズムよりもガウス混合クラスタリングの方が優れていることを示す数値的な証拠を提供する。
論文参考訳（メタデータ） (2021-02-05T14:16:45Z)
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method [47.80060761046752]
ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。 RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。本稿では、近年のローワークの動機付けについて述べる。
論文参考訳（メタデータ） (2020-08-18T04:46:22Z)
Asymptotic Convergence Rate of Alternating Minimization for Rank One Matrix Completion [15.321579527891457]
最小限の最小化を最小限の条件で検討する。我々は、可逆的コンセンサス問題の固有値の変動特性により収束率を束縛する。このことは、ノード数と明らかにされたエントリのグラフの最大の度合いの点で、そのレートの上限に繋がる。
論文参考訳（メタデータ） (2020-08-11T19:56:35Z)
The Spectrum of Fisher Information of Deep Networks Achieving Dynamical Isometry [9.289846887298852]
Fisher InformationMatrix (FIM) はディープニューラルネット(DNN)のトレーニング可能性を理解するための基礎となる。完全接続ネットワークに着目し, 単一サンプルのFIMである条件付きFIMのスペクトル分布について検討した。パラメータ空間の局所距離は、動的等距離の下でも線形に深さに依存する。
論文参考訳（メタデータ） (2020-06-14T06:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。