論文の概要: Why High-rank Neural Networks Generalize?: An Algebraic Framework with RKHSs

• arxiv url: http://arxiv.org/abs/2509.21895v1
• Date: Fri, 26 Sep 2025 05:30:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.20426
• Title: Why High-rank Neural Networks Generalize?: An Algebraic Framework with RKHSs
• Title（参考訳）: ハイランクニューラルネットワークが一般化する理由 - RKHSを用いた代数的フレームワーク
• Authors: Yuka Hashimoto, Sho Sonoda, Isao Ishikawa, Masahiro Ikeda,
• Abstract要約: 我々は、クープマン演算子、グループ表現、再現カーネルヒルベルト空間(RKHS)を用いたディープニューラルネットワークに対する新しいRademacher複雑性を導出する。 提案したバウンダリは、高階重量行列を持つモデルがよく一般化する理由を記述している。
• 参考スコア（独自算出の注目度）: 15.310099705870114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We derive a new Rademacher complexity bound for deep neural networks using Koopman operators, group representations, and reproducing kernel Hilbert spaces (RKHSs). The proposed bound describes why the models with high-rank weight matrices generalize well. Although there are existing bounds that attempt to describe this phenomenon, these existing bounds can be applied to limited types of models. We introduce an algebraic representation of neural networks and a kernel function to construct an RKHS to derive a bound for a wider range of realistic models. This work paves the way for the Koopman-based theory for Rademacher complexity bounds to be valid for more practical situations.
• Abstract（参考訳）: 我々は、クープマン演算子、グループ表現、再現カーネルヒルベルト空間(RKHS)を用いて、ディープニューラルネットワークに対する新しいRademacher複雑性を導出する。 提案したバウンダリは、高階重量行列を持つモデルがよく一般化する理由を記述している。 この現象を記述しようとする有界性はあるが、これらの既存の有界性は限られた種類のモデルに適用できる。 ニューラルネットワークの代数的表現とカーネル関数を導入し、RKHSを構築し、より広い範囲の現実的モデルに対するバウンダリを導出する。 この研究は、ラデマッハ複雑性に関するクープマンに基づく理論がより実践的な状況において有効であることを示す道を開いた。

関連論文リスト

• Convolutional Filtering with RKHS Algebras [110.06688302593349]
  我々は、Kernel Hilbert Spaces(RKHS)の再生のための畳み込み信号処理とニューラルネットワークの理論を開発する。 任意の RKHS が複数の代数的畳み込みモデルの形式的定義を可能にすることを示す。 本研究では,無人航空機による実測値から無線通信を予測できる実データに関する数値実験について述べる。
  論文  参考訳（メタデータ） (2024-11-02T18:53:44Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• On Rademacher Complexity-based Generalization Bounds for Deep Learning [18.601449856300984]
  我々は,Rademacherの複雑性に基づくフレームワークが,CNNに対して非空の一般化境界を確立することができることを示す。 重要な技術的進歩は、ベクトル空間間の高次元写像のための新しい縮約補題の定式化である。
  論文  参考訳（メタデータ） (2022-08-08T17:24:04Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• On Infinite-Width Hypernetworks [101.03630454105621]
  我々は、ハイパーネットワークが、下降中のグローバルなミニマを保証していないことを示す。 我々は,これらのアーキテクチャの機能的先行を,対応するGPカーネルとNTKカーネルを導出することによって同定する。 この研究の一環として、標準完全連結ReLUネットワークの高次テイラー項の厳密な境界を導出した数学的貢献を行う。
  論文  参考訳（メタデータ） (2020-03-27T00:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。