論文の概要: Koopman-based generalization bound: New aspect for full-rank weights

• arxiv url: http://arxiv.org/abs/2302.05825v3
• Date: Sat, 16 Mar 2024 09:12:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 06:48:15.866012
• Title: Koopman-based generalization bound: New aspect for full-rank weights
• Title（参考訳）: Koopman-based generalization bound: New aspect for full-rank weights
• Authors: Yuka Hashimoto, Sho Sonoda, Isao Ishikawa, Atsushi Nitanda, Taiji Suzuki,
• Abstract要約: クープマン演算子を用いたニューラルネットワークの一般化のための新しいバウンダリを提案する。 我々の結果は、フルランクの重み行列を持つニューラルネットワークの一般化の理解に新たな光を当てている。
• 参考スコア（独自算出の注目度）: 45.64416573341108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a new bound for generalization of neural networks using Koopman operators. Whereas most of existing works focus on low-rank weight matrices, we focus on full-rank weight matrices. Our bound is tighter than existing norm-based bounds when the condition numbers of weight matrices are small. Especially, it is completely independent of the width of the network if the weight matrices are orthogonal. Our bound does not contradict to the existing bounds but is a complement to the existing bounds. As supported by several existing empirical results, low-rankness is not the only reason for generalization. Furthermore, our bound can be combined with the existing bounds to obtain a tighter bound. Our result sheds new light on understanding generalization of neural networks with full-rank weight matrices, and it provides a connection between operator-theoretic analysis and generalization of neural networks.
• Abstract（参考訳）: クープマン演算子を用いたニューラルネットワークの一般化のための新しいバウンダリを提案する。 既存の作品の多くは低ランクの重量行列に重点を置いているのに対し、我々はフルランクの重量行列に焦点をあてている。 私たちの境界は、ウェイト行列の条件数が小さい場合、既存のノルムベース境界よりも厳密である。 特に、重み行列が直交している場合、ネットワークの幅には全く依存しない。 私たちの境界は既存の境界とは矛盾しないが、既存の境界を補完するものである。 いくつかの既存の経験的結果によって支持されるように、低ランク性は一般化の唯一の理由ではない。 さらに、我々の境界は、より厳密な境界を得るために、既存の境界と結合することができる。 その結果,ニューラルネットワークの高階重み行列による一般化の理解に新たな光を当て,演算子理論解析とニューラルネットワークの一般化の関連性を提供する。

関連論文リスト

• Optimization and Generalization Guarantees for Weight Normalization [19.965963460750206]
  我々は、Deep WeightNormモデルの最適化と一般化の双方について、最初の理論的特徴付けを提供する。 本稿では,WeightNormネットワークのトレーニングに正規化項などの理論的関心が関係していることを示す実験結果を示す。
  論文  参考訳（メタデータ） (2024-09-13T15:55:05Z)
• Norm-based Generalization Bounds for Compositionally Sparse Neural Networks [11.987589603961622]
  畳み込みニューラルネットワークを含む多層スパースReLUニューラルネットワークに対する一般化境界を証明した。 これらの結果から, 深いニューラルネットワークの成功には, 対象関数の組成空間が重要であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-28T00:06:22Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Deep neural networks with dependent weights: Gaussian Process mixture limit, heavy tails, sparsity and compressibility [18.531464406721412]
  本稿では,重みに依存するディープフィードフォワードニューラルネットワークの無限幅限界について検討する。 ネットワークの各隠れノードは、そのノードの出力重みの分散を制御する非負のランダム変数が割り当てられる。
  論文  参考訳（メタデータ） (2022-05-17T09:14:32Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Compressing Heavy-Tailed Weight Matrices for Non-Vacuous Generalization Bounds [0.0]
  arXiv:1802.05296の圧縮フレームワークを用いて、重テール分布行列要素を持つ行列を圧縮可能であることを示す。 ベクトル上のこれらの行列の作用について論じ、圧縮と弾力的な分類との関係について分析する。
  論文  参考訳（メタデータ） (2021-05-23T21:36:33Z)
• Explicit regularization and implicit bias in deep network classifiers trained with the square loss [2.8935588665357077]
  平方損失で訓練された深いReLUネットワークは分類の仕事でよく機能するために観察されました。 正規化法を重み決定法とともに用いる場合,絶対最小ノルムの解への収束が期待できることを示す。
  論文  参考訳（メタデータ） (2020-12-31T21:07:56Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。