論文の概要: Frobenius-Type Norms and Inner Products of Matrices and Linear Maps with Applications to Neural Network Training

• arxiv url: http://arxiv.org/abs/2311.15419v1
• Date: Sun, 26 Nov 2023 21:03:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 17:40:30.640275
• Title: Frobenius-Type Norms and Inner Products of Matrices and Linear Maps with Applications to Neural Network Training
• Title（参考訳）: 行列と線形写像のフロベニウス型ノルムと内積とニューラルネットワークトレーニングへの応用
• Authors: Roland Herzog and Frederik K\"ohne and Leonie Kreis and Anton Schiela
• Abstract要約: 古典的なフロベニウスノルムは、より一般的なフロベニウス型ノルムの族に属する特別な元である。 この実現によって提供される重要な余分な自由は、ニューラルネットワークトレーニングのプレコンディションに利用することができる。
• 参考スコア（独自算出の注目度）: 0.41104247065851574
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The Frobenius norm is a frequent choice of norm for matrices. In particular, the underlying Frobenius inner product is typically used to evaluate the gradient of an objective with respect to matrix variable, such as those occuring in the training of neural networks. We provide a broader view on the Frobenius norm and inner product for linear maps or matrices, and establish their dependence on inner products in the domain and co-domain spaces. This shows that the classical Frobenius norm is merely one special element of a family of more general Frobenius-type norms. The significant extra freedom furnished by this realization can be used, among other things, to precondition neural network training.
• Abstract（参考訳）: フロベニウスノルムは行列の標準の頻繁な選択である。 特に、基盤となるフロベニウスの内積は、ニューラルネットワークのトレーニングで発生するような行列変数に対する対象の勾配を評価するために一般的に用いられる。 我々は、直線写像や行列に対するフロベニウスノルムや内積のより広い視点を提供し、それらの内積への依存性をドメイン空間やコドメイン空間で確立する。 これは、古典的なフロベニウスノルムが、より一般的なフロベニウス型ノルムの族に属する特別な要素であることを示している。 この実現によって提供される重要な余分な自由は、特に、前提条件のニューラルネットワークトレーニングに使用できる。

関連論文リスト

• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Norm-based Generalization Bounds for Compositionally Sparse Neural Networks [11.987589603961622]
  畳み込みニューラルネットワークを含む多層スパースReLUニューラルネットワークに対する一般化境界を証明した。 これらの結果から, 深いニューラルネットワークの成功には, 対象関数の組成空間が重要であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-28T00:06:22Z)
• Spectral Regularization: an Inductive Bias for Sequence Modeling [7.365884062005811]
  本稿では,一意な帰納バイアスをシーケンスモデルに付加するスペクトル正則化手法を提案する。 ハンケル行列と正規文法の基本的な関係から、スペクトル正則化器としてハンケル行列のトレースノルム(英語版)を用いることを提案する。
  論文  参考訳（メタデータ） (2022-11-04T04:07:05Z)
• Non-Vacuous Generalisation Bounds for Shallow Neural Networks [5.799808780731661]
  我々は、単一の隠蔽層を持つ特定の種類の浅いニューラルネットワークに焦点を当てる。 我々はPAC-ベイジアン理論を通じて新しい一般化を導出する。 ネットワークがMNISTとFashion-MNISTのバニラ勾配勾配降下で訓練される場合,我々の限界は経験的に非空洞である。
  論文  参考訳（メタデータ） (2022-02-03T14:59:51Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Implicit Regularization in Deep Learning May Not Be Explainable by Norms [19.171942665409105]
  暗黙の正則化がすべてのノルム(および準ノルム)を無限大へと導く自然な行列分解問題が存在することを示す。 我々の結果は、ノルムによる暗黙の正規化を知覚するのではなく、潜在的に有用な解釈はランクの最小化であることを示している。
  論文  参考訳（メタデータ） (2020-05-13T16:13:30Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)
• On implicit regularization: Morse functions and applications to matrix factorization [1.713291434132985]
  主要なコントリビューションは、暗黙の正規化のための新しい基準である。 これらの手法を行列分解における暗黙正則化の予想に応用する。
  論文  参考訳（メタデータ） (2020-01-13T14:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。