論文の概要: LU-Net: Invertible Neural Networks Based on Matrix Factorization
- arxiv url: http://arxiv.org/abs/2302.10524v1
- Date: Tue, 21 Feb 2023 08:52:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 15:47:36.004735
- Title: LU-Net: Invertible Neural Networks Based on Matrix Factorization
- Title（参考訳）: LU-Net:行列分解に基づく可逆ニューラルネットワーク
- Authors: Robin Chan, Sarina Penquitt, Hanno Gottschalk
- Abstract要約: LU-Netは、可逆ニューラルネットワーク(INN)のためのシンプルで高速なアーキテクチャである
イントレピッドニューラルネットワークは、最大極大原理に従って訓練することができる。
数値実験では,複数の学術データセット上でLU-netアーキテクチャを生成モデルとして検証した。
- 参考スコア（独自算出の注目度）: 1.2891210250935146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LU-Net is a simple and fast architecture for invertible neural networks (INN)
that is based on the factorization of quadratic weight matrices
$\mathsf{A=LU}$, where $\mathsf{L}$ is a lower triangular matrix with ones on
the diagonal and $\mathsf{U}$ an upper triangular matrix. Instead of learning a
fully occupied matrix $\mathsf{A}$, we learn $\mathsf{L}$ and $\mathsf{U}$
separately. If combined with an invertible activation function, such layers can
easily be inverted whenever the diagonal entries of $\mathsf{U}$ are different
from zero. Also, the computation of the determinant of the Jacobian matrix of
such layers is cheap. Consequently, the LU architecture allows for cheap
computation of the likelihood via the change of variables formula and can be
trained according to the maximum likelihood principle. In our numerical
experiments, we test the LU-net architecture as generative model on several
academic datasets. We also provide a detailed comparison with conventional
invertible neural networks in terms of performance, training as well as run
time.
- Abstract（参考訳）: lu-net は可逆ニューラルネットワーク (inn) のための単純かつ高速なアーキテクチャであり、二次重み行列の因子分解である $\mathsf{a=lu}$ に基づいており、ここで $\mathsf{l}$ は対角線上の行列と$\mathsf{u}$ 上三角行列を持つ下三角行列である。
完全に占有された行列 $\mathsf{A}$ を学ぶ代わりに、$\mathsf{L}$ と $\mathsf{U}$ を別々に学ぶ。
可逆活性化関数と組み合わせると、$\mathsf{u}$ の対角成分が 0 と異なるとき、そのような層は容易に反転することができる。
また、そのような層のヤコビ行列の行列式の計算は安価である。
これにより、LUアーキテクチャは変数公式の変更による可能性の安価な計算を可能にし、最大公理に従って訓練することができる。
数値実験では,複数の学術データセット上でLU-netアーキテクチャを生成モデルとして検証した。
また、従来の非可逆ニューラルネットワークと比較して、パフォーマンス、トレーニング、実行時間の観点から詳細に比較する。
関連論文リスト
- Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - A Unified Scheme of ResNet and Softmax [8.556540804058203]
回帰問題を理論的に解析する: $| langle exp(Ax) + A x, bf 1_n rangle-1 ( exp(Ax) + Ax )
この回帰問題は、ソフトマックス回帰とResNetを組み合わせた統一的なスキームである。
論文 参考訳（メタデータ） (2023-09-23T21:41:01Z) - Efficiently Learning One-Hidden-Layer ReLU Networks via Schur
Polynomials [50.90125395570797]
正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。
本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
論文 参考訳（メタデータ） (2023-07-24T14:37:22Z) - LU decomposition and Toeplitz decomposition of a neural network [5.276232626689567]
任意の連続関数 $f : mathbbRn to mathbbRm$ がニューラルネットワークによる任意の精度に近似可能であることを示す。
我々のToeplitzの結果は、畳み込みニューラルネットワークの固定幅普遍近似である。
論文 参考訳（メタデータ） (2022-11-25T07:26:39Z) - Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。
我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-30T19:10:32Z) - What if Neural Networks had SVDs? [66.91160214071088]
様々なニューラルネットワークでは、行列反転のような時間を要する行列演算を採用している。
本稿では,行列演算を高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-29T12:58:52Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - Constant-Depth and Subcubic-Size Threshold Circuits for Matrix
Multiplication [1.9518237361775532]
大規模ニューラルネットワークハードウェアの最近の進歩は、その実践的実装を短期的可能性にしている。
しきい値ゲート論理を統合する2つの$N$を$N$行列に乗算する理論的アプローチについて述べる。
デンス行列乗算は畳み込みニューラルネットワークトレーニングにおけるコア演算である。
論文 参考訳（メタデータ） (2020-06-25T18:28:10Z) - Backward Feature Correction: How Deep Learning Performs Deep
(Hierarchical) Learning [66.05472746340142]
本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。
我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
論文 参考訳（メタデータ） (2020-01-13T17:28:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。