論文の概要: Why High-rank Neural Networks Generalize?: An Algebraic Framework with RKHSs

• arxiv url: http://arxiv.org/abs/2509.21895v1
• Date: Fri, 26 Sep 2025 05:30:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.20426
• Title: Why High-rank Neural Networks Generalize?: An Algebraic Framework with RKHSs
• Title（参考訳）: ハイランクニューラルネットワークが一般化する理由 - RKHSを用いた代数的フレームワーク
• Authors: Yuka Hashimoto, Sho Sonoda, Isao Ishikawa, Masahiro Ikeda,
• Abstract要約: 我々は、クープマン演算子、グループ表現、再現カーネルヒルベルト空間(RKHS)を用いたディープニューラルネットワークに対する新しいRademacher複雑性を導出する。 提案したバウンダリは、高階重量行列を持つモデルがよく一般化する理由を記述している。
• 参考スコア（独自算出の注目度）: 15.310099705870114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We derive a new Rademacher complexity bound for deep neural networks using Koopman operators, group representations, and reproducing kernel Hilbert spaces (RKHSs). The proposed bound describes why the models with high-rank weight matrices generalize well. Although there are existing bounds that attempt to describe this phenomenon, these existing bounds can be applied to limited types of models. We introduce an algebraic representation of neural networks and a kernel function to construct an RKHS to derive a bound for a wider range of realistic models. This work paves the way for the Koopman-based theory for Rademacher complexity bounds to be valid for more practical situations.
• Abstract（参考訳）: 我々は、クープマン演算子、グループ表現、再現カーネルヒルベルト空間(RKHS)を用いて、ディープニューラルネットワークに対する新しいRademacher複雑性を導出する。 提案したバウンダリは、高階重量行列を持つモデルがよく一般化する理由を記述している。 この現象を記述しようとする有界性はあるが、これらの既存の有界性は限られた種類のモデルに適用できる。 ニューラルネットワークの代数的表現とカーネル関数を導入し、RKHSを構築し、より広い範囲の現実的モデルに対するバウンダリを導出する。 この研究は、ラデマッハ複雑性に関するクープマンに基づく理論がより実践的な状況において有効であることを示す道を開いた。

関連論文リスト

• Algorithmic Simplification of Neural Networks with Mosaic-of-Motifs [10.533982886956002]
  プルーニング、量子化、知識蒸留といった手法は、モデルパラメータの数を大幅に削減するために使われてきた。 この振る舞いを説明するために,アルゴリズムの複雑さの観点から考察する。
  論文  参考訳（メタデータ） (2026-02-16T16:30:38Z)
• Bearing Syntactic Fruit with Stack-Augmented Neural Networks [59.49467149799849]
  スタック拡張ニューラルネットワークは、標準的なアーキテクチャよりも、人間の言語習得の正確なモデルであることを示す。 また、階層的一般化を改善するスタックRNNアーキテクチャの修正も提案する。
  論文  参考訳（メタデータ） (2025-11-05T15:30:58Z)
• Neural Expectation Operators [2.1756081703276]
  本稿では,非線形予測によるあいまいさをモデル化するためのパラダイムであるtextbfMeasure Learningを紹介する。 我々はニューラル期待演算子を、ドライバがニューラルネットワークによってパラメータ化される後方微分方程式(BSDEs)の解として定義する。 本稿では,建築設計による凸性などの重要な公理特性の強化のための建設的手法を提案する。
  論文  参考訳（メタデータ） (2025-07-13T06:19:28Z)
• Convolutional Filtering with RKHS Algebras [110.06688302593349]
  我々は、Kernel Hilbert Spaces(RKHS)の再生のための畳み込み信号処理とニューラルネットワークの理論を開発する。 任意の RKHS が複数の代数的畳み込みモデルの形式的定義を可能にすることを示す。 本研究では,無人航空機による実測値から無線通信を予測できる実データに関する数値実験について述べる。
  論文  参考訳（メタデータ） (2024-11-02T18:53:44Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Flexible Infinite-Width Graph Convolutional Neural Networks [23.09717258810923]
  ニューラルネットワークを理解するための一般的な理論的アプローチは、無限幅の極限を取ることであり、その時点で出力はガウス過程(NNGP)に分散される。 これは有限幅NNとは対照的であり、手元のタスクの表現を柔軟に学習できるため、よく機能すると考えられている。 表現学習は異種ノード分類タスクに対して顕著な性能向上をもたらすが、同種ノード分類タスクではそうではないことを示す。
  論文  参考訳（メタデータ） (2024-02-09T16:37:08Z)
• On Rademacher Complexity-based Generalization Bounds for Deep Learning [18.601449856300984]
  我々は,Rademacherの複雑性に基づくフレームワークが,CNNに対して非空の一般化境界を確立することができることを示す。 重要な技術的進歩は、ベクトル空間間の高次元写像のための新しい縮約補題の定式化である。
  論文  参考訳（メタデータ） (2022-08-08T17:24:04Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• On Infinite-Width Hypernetworks [101.03630454105621]
  我々は、ハイパーネットワークが、下降中のグローバルなミニマを保証していないことを示す。 我々は,これらのアーキテクチャの機能的先行を,対応するGPカーネルとNTKカーネルを導出することによって同定する。 この研究の一環として、標準完全連結ReLUネットワークの高次テイラー項の厳密な境界を導出した数学的貢献を行う。
  論文  参考訳（メタデータ） (2020-03-27T00:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。