論文の概要: Emergence of the SVD as an interpretable factorization in deep learning
for inverse problems
- arxiv url: http://arxiv.org/abs/2301.07820v2
- Date: Wed, 9 Aug 2023 00:44:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 18:09:08.675831
- Title: Emergence of the SVD as an interpretable factorization in deep learning
for inverse problems
- Title(参考訳): 逆問題に対する深層学習における解釈因子化としてのSVDの出現
- Authors: Shashank Sule, Richard G. Spencer and Wojciech Czaja
- Abstract要約: ニューラルネットワークの解釈ツールとして,重み行列の特異値分解(SVD)の出現を示す。
NN重みのSVDと入力自己相関行列でデクラムブル変換を表現できることが示される。
- 参考スコア(独自算出の注目度): 1.5567671045891203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Within the framework of deep learning we demonstrate the emergence of the
singular value decomposition (SVD) of the weight matrix as a tool for
interpretation of neural networks (NN) when combined with the descrambling
transformation--a recently-developed technique for addressing interpretability
in noisy parameter estimation neural networks \cite{amey2021neural}. By
considering the averaging effect of the data passed to the descrambling
minimization problem, we show that descrambling transformations--in the large
data limit--can be expressed in terms of the SVD of the NN weights and the
input autocorrelation matrix. Using this fact, we show that within the class of
noisy parameter estimation problems the SVD may be the structure through which
trained networks encode a signal model. We substantiate our theoretical
findings with empirical evidence from both linear and non-linear signal models.
Our results also illuminate the connections between a mathematical theory of
semantic development \cite{saxe2019mathematical} and neural network
interpretability.
- Abstract(参考訳): 深層学習の枠組みの中で、重み行列の特異値分解(svd)が、デスクランブル変換(descrambling transformation)と組み合わせてニューラルネットワーク(nn)を解釈するためのツールとして現れることを実証する。
遅延最小化問題に渡されるデータの平均化効果を考慮し, NN重みのSVDと入力自己相関行列を用いて, 大規模データ限界におけるデクラーミング変換が表現可能であることを示す。
この事実を用いて、雑音パラメータ推定問題のクラスにおいて、SVDは、訓練されたネットワークが信号モデルを符号化する構造であることを示す。
我々は線形信号モデルと非線形信号モデルの両方による経験的証拠を用いて理論的知見を裏付ける。
また, 意味的発達の数学的理論であるsaxe2019mathematical} とニューラルネットワークの解釈可能性との関係を明らかにした。
関連論文リスト
- Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Learning Invariant Weights in Neural Networks [16.127299898156203]
機械学習でよく使われるモデルの多くは、データ内の特定の対称性を尊重することを制約している。
本稿では,ニューラルネットワークにおける不変性学習の限界値の最小化により,このアプローチに準ずる重み空間を提案する。
論文 参考訳(メタデータ) (2022-02-25T00:17:09Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳(メタデータ) (2021-10-20T06:15:45Z) - Higher-order Quasi-Monte Carlo Training of Deep Neural Networks [0.0]
本稿では,DNN (Deep Neural Network) によるDtO (Data-to-Observable) マップのトレーニングに準モンテカルロ点を用いた新しいアルゴリズム手法と誤差解析を提案する。
論文 参考訳(メタデータ) (2020-09-06T11:31:42Z) - Bayesian neural networks and dimensionality reduction [4.039245878626346]
そのような問題に対するモデルに基づくアプローチのクラスは、未知の非線形回帰関数における潜在変数を含む。
VAEは、近似を用いて計算をトラクタブルにする人工知能ニューラルネットワーク(ANN)である。
潜在変数を持つANNモデルにおいて,マルコフ連鎖モンテカルロサンプリングアルゴリズムをベイズ推定のために展開する。
論文 参考訳(メタデータ) (2020-08-18T17:11:07Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Estimating Model Uncertainty of Neural Networks in Sparse Information
Form [39.553268191681376]
ディープニューラルネットワーク(DNN)におけるモデル不確実性のスパース表現について述べる。
我々の研究の重要な洞察は、情報行列はそのスペクトルにおいてスパースである傾向があることである。
DNNにおけるモデル不確実性を表すために,情報形式が適用可能であることを示す。
論文 参考訳(メタデータ) (2020-06-20T18:09:59Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。