論文の概要: Compressing Heavy-Tailed Weight Matrices for Non-Vacuous Generalization Bounds

• arxiv url: http://arxiv.org/abs/2105.11025v1
• Date: Sun, 23 May 2021 21:36:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 15:28:05.642429
• Title: Compressing Heavy-Tailed Weight Matrices for Non-Vacuous Generalization Bounds
• Title（参考訳）: 非粘性一般化境界に対する圧縮重厚行列
• Authors: John Y. Shin
• Abstract要約: arXiv:1802.05296の圧縮フレームワークを用いて、重テール分布行列要素を持つ行列を圧縮可能であることを示す。 ベクトル上のこれらの行列の作用について論じ、圧縮と弾力的な分類との関係について分析する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heavy-tailed distributions have been studied in statistics, random matrix theory, physics, and econometrics as models of correlated systems, among other domains. Further, heavy-tail distributed eigenvalues of the covariance matrix of the weight matrices in neural networks have been shown to empirically correlate with test set accuracy in several works (e.g. arXiv:1901.08276), but a formal relationship between heavy-tail distributed parameters and generalization bounds was yet to be demonstrated. In this work, the compression framework of arXiv:1802.05296 is utilized to show that matrices with heavy-tail distributed matrix elements can be compressed, resulting in networks with sparse weight matrices. Since the parameter count has been reduced to a sum of the non-zero elements of sparse matrices, the compression framework allows us to bound the generalization gap of the resulting compressed network with a non-vacuous generalization bound. Further, the action of these matrices on a vector is discussed, and how they may relate to compression and resilient classification is analyzed.
• Abstract（参考訳）: 重み付き分布は統計学、ランダム行列理論、物理学、計量学において相関系のモデルとして研究されている。 さらに、ニューラルネットワークにおける重み行列の共分散行列の重み分布固有値は、いくつかの研究(例)においてテストセット精度と経験的に相関することが示されている。 arXiv:1901.08276) だが、ヘビーテール分布パラメータと一般化境界との形式的関係はまだ証明されていない。 本研究では,arxiv:1802.05296の圧縮フレームワークを用いて,重み分散行列要素を持つ行列を圧縮できることを示す。 パラメータカウントはスパース行列のゼロでない要素の和に減らされているため、圧縮フレームワークは圧縮されたネットワークの一般化ギャップを非空の一般化境界で結ぶことができる。 さらに, ベクトルに対するこれらの行列の作用を考察し, 圧縮・回復性分類との関連性について考察した。

関連論文リスト

• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• Implicit Regularization of Gradient Flow on One-Layer Softmax Attention [10.060496091806694]
  一層ソフトマックスアテンションモデルを用いた分類問題に対する指数損失の勾配流について検討した。 データ上の分離性仮定では、勾配流が最小損失値を達成すると、鍵とクエリの重み行列の積の核ノルムを暗黙的に最小化する。
  論文  参考訳（メタデータ） (2024-03-13T17:02:27Z)
• Quantitative deterministic equivalent of sample covariance matrices with a general dependence structure [0.0]
  我々は、次元とスペクトルパラメータの両方を含む量的境界を証明し、特に実正の半直線に近づくことを可能にする。 応用として、これらの一般モデルの経験スペクトル分布のコルモゴロフ距離の収束の新しい境界を得る。
  論文  参考訳（メタデータ） (2022-11-23T15:50:31Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Riemannian statistics meets random matrix theory: towards learning from high-dimensional covariance matrices [2.352645870795664]
  本稿では,高次元共分散行列の空間上でのリーマン・ガウス分布に関連する正規化因子の計算方法が存在しないことを示す。 この欠落法は、ランダム行列理論との予期せぬ新しい関係から来ていることが示されている。 シミュレーション実験により、この新たな近似が現実のデータセットへの応用を妨げる困難を解き放つ方法が示されている。
  論文  参考訳（メタデータ） (2022-03-01T03:16:50Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• A simpler spectral approach for clustering in directed networks [1.52292571922932]
  隣接行列の固有値/固有ベクトル分解は、すべての一般的な方法よりも単純であることを示す。 広く使われているk平均アルゴリズムよりもガウス混合クラスタリングの方が優れていることを示す数値的な証拠を提供する。
  論文  参考訳（メタデータ） (2021-02-05T14:16:45Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Squashed Shifted PMI Matrix: Bridging Word Embeddings and Hyperbolic Spaces [7.855758501691244]
  陰性サンプリングによるスキップグラムにおけるシグモイド変換の除去は,単語ベクトルの品質を著しく損なうものではないことを示す。 また、ランダムグラフの接続確率行列として扱うことができるスクワットシフトPMI行列を分解する。
  論文  参考訳（メタデータ） (2020-02-27T09:50:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。