論文の概要: Emergence of the SVD as an interpretable factorization in deep learning
for inverse problems
- arxiv url: http://arxiv.org/abs/2301.07820v1
- Date: Wed, 18 Jan 2023 23:16:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-20 15:51:28.640914
- Title: Emergence of the SVD as an interpretable factorization in deep learning
for inverse problems
- Title(参考訳): 逆問題に対する深層学習における解釈因子化としてのSVDの出現
- Authors: Shashank Sule, Richard G. Spencer and Wojciech Czaja
- Abstract要約: 雑音信号からのパラメータ推定のためのニューラルネットワーク(NN)における重み行列特異値分解(SVD)の出現を示す。
雑音パラメータ推定問題のクラスでは、SVDが信号モデルを記憶する手段となる可能性がある。
- 参考スコア(独自算出の注目度): 1.5567671045891203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We demonstrate the emergence of weight matrix singular value decomposition
(SVD) in interpreting neural networks (NNs) for parameter estimation from noisy
signals. The SVD appears naturally as a consequence of initial application of a
descrambling transform - a recently-developed technique for addressing
interpretability in NNs \cite{amey2021neural}. We find that within the class of
noisy parameter estimation problems, the SVD may be the means by which networks
memorize the signal model. We substantiate our theoretical findings with
empirical evidence from both linear and non-linear settings. Our results also
illuminate the connections between a mathematical theory of semantic
development \cite{saxe2019mathematical} and neural network interpretability.
- Abstract(参考訳): 雑音信号からのパラメータ推定のためのニューラルネットワーク(NN)における重み行列特異値分解(SVD)の出現を示す。
SVDは、NNs \cite{amey2021neural}における解釈可能性に対処する手法であるデクラムブル変換の初期適用の結果、自然に現れる。
雑音パラメータ推定問題のクラスでは、SVDが信号モデルを記憶する手段となる可能性がある。
線形条件と非線形条件の両方から得られた経験的証拠で理論的知見を裏付ける。
また, 意味的発達の数学的理論であるsaxe2019mathematical} とニューラルネットワークの解釈可能性との関係を明らかにした。
関連論文リスト
- Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Learning Invariant Weights in Neural Networks [16.127299898156203]
機械学習でよく使われるモデルの多くは、データ内の特定の対称性を尊重することを制約している。
本稿では,ニューラルネットワークにおける不変性学習の限界値の最小化により,このアプローチに準ずる重み空間を提案する。
論文 参考訳(メタデータ) (2022-02-25T00:17:09Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳(メタデータ) (2021-10-20T06:15:45Z) - Higher-order Quasi-Monte Carlo Training of Deep Neural Networks [0.0]
本稿では,DNN (Deep Neural Network) によるDtO (Data-to-Observable) マップのトレーニングに準モンテカルロ点を用いた新しいアルゴリズム手法と誤差解析を提案する。
論文 参考訳(メタデータ) (2020-09-06T11:31:42Z) - Bayesian neural networks and dimensionality reduction [4.039245878626346]
そのような問題に対するモデルに基づくアプローチのクラスは、未知の非線形回帰関数における潜在変数を含む。
VAEは、近似を用いて計算をトラクタブルにする人工知能ニューラルネットワーク(ANN)である。
潜在変数を持つANNモデルにおいて,マルコフ連鎖モンテカルロサンプリングアルゴリズムをベイズ推定のために展開する。
論文 参考訳(メタデータ) (2020-08-18T17:11:07Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Estimating Model Uncertainty of Neural Networks in Sparse Information
Form [39.553268191681376]
ディープニューラルネットワーク(DNN)におけるモデル不確実性のスパース表現について述べる。
我々の研究の重要な洞察は、情報行列はそのスペクトルにおいてスパースである傾向があることである。
DNNにおけるモデル不確実性を表すために,情報形式が適用可能であることを示す。
論文 参考訳(メタデータ) (2020-06-20T18:09:59Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。