論文の概要: Geometry and Generalization: Eigenvalues as predictors of where a
network will fail to generalize
- arxiv url: http://arxiv.org/abs/2107.06386v1
- Date: Tue, 13 Jul 2021 21:03:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 04:04:25.031869
- Title: Geometry and Generalization: Eigenvalues as predictors of where a
network will fail to generalize
- Title（参考訳）: 幾何と一般化:ネットワークの一般化に失敗する予測子としての固有値
- Authors: Susama Agarwala, Benjamin Dees, Andrew Gearhart, Corey Lowman
- Abstract要約: トレーニングされた重み行列のジャコビアンを用いて、トレーニングされたオートエンコーダによる入力空間の変形について検討する。
これは、新しい入力を一般化するオートエンコーダの能力をテストするためのデータセットに依存しない手段である。
- 参考スコア（独自算出の注目度）: 0.30586855806896046
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the deformation of the input space by a trained autoencoder via the
Jacobians of the trained weight matrices. In doing so, we prove bounds for the
mean squared errors for points in the input space, under assumptions regarding
the orthogonality of the eigenvectors. We also show that the trace and the
product of the eigenvalues of the Jacobian matrices is a good predictor of the
MSE on test points. This is a dataset independent means of testing an
autoencoder's ability to generalize on new input. Namely, no knowledge of the
dataset on which the network was trained is needed, only the parameters of the
trained model.
- Abstract（参考訳）: トレーニングされた重み行列のヤコビアンを介して、訓練されたオートエンコーダによって入力空間の変形を研究する。
そのような場合、固有ベクトルの直交性に関する仮定の下で、入力空間の点に対する平均二乗誤差の有界性を証明する。
また,ヤコビ行列の固有値のトレースと積はテスト点におけるmseのよい予測因子であることを示した。
これは、新しい入力を一般化するオートエンコーダの能力をテストする、データセット独立の手段である。
すなわち、ネットワークがトレーニングされたデータセットに関する知識は必要ではなく、トレーニングされたモデルのパラメータのみである。
関連論文リスト
- Locating Information in Large Language Models via Random Matrix Theory [0.0]
我々は,事前学習した変換器モデルBERTとLlamaの重量行列を解析した。
訓練後に偏差が出現し モデル内の学習された構造が特定できます
その結果、微調整後、小さな特異値がモデルの能力に重要な役割を果たすことが明らかとなった。
論文 参考訳（メタデータ） (2024-10-23T11:19:08Z) - Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - Support matrix machine: A review [0.0]
サポートマトリックスマシン(SMM)は、行列入力データを扱うのに適した新しい手法の1つである。
本稿では,SMM モデルの開発について,より詳細な分析を行う。
我々は、ロバスト、スパース、クラス不均衡、マルチクラス分類モデルなど、多くのSMM変種について論じる。
論文 参考訳（メタデータ） (2023-10-30T16:46:23Z) - Householder Projector for Unsupervised Latent Semantics Discovery [58.92485745195358]
Householder Projectorは、画像の忠実さを犠牲にすることなく、StyleGANがより複雑で正確なセマンティック属性を見つけるのに役立つ。
プロジェクタを事前訓練したStyleGAN2/StyleGAN3に統合し、複数のベンチマークでモデルを評価する。
論文 参考訳（メタデータ） (2023-07-16T11:43:04Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Random matrix analysis of deep neural network weight matrices [0.0]
ランダム行列理論(RMT)を用いた訓練深層ニューラルネットワークの重み行列について検討する。
特異値の大半の統計は普遍的なRTT予測に従うことを示す。
これは、それらはランダムであり、システム固有の情報を含んでいないことを示唆している。
論文 参考訳（メタデータ） (2022-03-28T11:22:12Z) - Eigenvalues of Autoencoders in Training and at Initialization [0.2578242050187029]
訓練過程の早い段階で, オートエンコーダのヤコビ行列の固有値分布について検討した。
訓練を受けていないオートエンコーダの固有値分布は,長年訓練されてきたものと定性的に異なることがわかった。
論文 参考訳（メタデータ） (2022-01-27T21:34:49Z) - Test Set Sizing Via Random Matrix Theory [91.3755431537592]
本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。
それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。
本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
論文 参考訳（メタデータ） (2021-12-11T13:18:33Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z) - Eigendecomposition-Free Training of Deep Networks for Linear
Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。
この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。
我々の手法は収束特性が良く、最先端の結果が得られます。
論文 参考訳（メタデータ） (2020-04-15T04:29:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。