論文の概要: Generalization Through Growth: Hidden Dynamics Controls Depth Dependence
- arxiv url: http://arxiv.org/abs/2505.15064v1
- Date: Wed, 21 May 2025 03:32:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:58.843203
- Title: Generalization Through Growth: Hidden Dynamics Controls Depth Dependence
- Title（参考訳）: 成長を通じた一般化:隠れたダイナミクス制御は深さ依存性を制御
- Authors: Sho Sonoda, Yuka Hashimoto, Isao Ishikawa, Masahiro Ikeda,
- Abstract要約: 本稿では、奥行き(k)ネットワークが連続隠蔽写像(f:mathcalXto MathcalX)と出力写像(h:mathcalXto mathbbR)の合成である任意のブループシュード計量空間に対する統一的なフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 15.67299102925013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent theory has reduced the depth dependence of generalization bounds from exponential to polynomial and even depth-independent rates, yet these results remain tied to specific architectures and Euclidean inputs. We present a unified framework for arbitrary \blue{pseudo-metric} spaces in which a depth-\(k\) network is the composition of continuous hidden maps \(f:\mathcal{X}\to \mathcal{X}\) and an output map \(h:\mathcal{X}\to \mathbb{R}\). The resulting bound $O(\sqrt{(\alpha + \log \beta(k))/n})$ isolates the sole depth contribution in \(\beta(k)\), the word-ball growth of the semigroup generated by the hidden layers. By Gromov's theorem polynomial (resp. exponential) growth corresponds to virtually nilpotent (resp. expanding) dynamics, revealing a geometric dichotomy behind existing $O(\sqrt{k})$ (sublinear depth) and $\tilde{O}(1)$ (depth-independent) rates. We further provide covering-number estimates showing that expanding dynamics yield an exponential parameter saving via compositional expressivity. Our results decouple specification from implementation, offering architecture-agnostic and dynamical-systems-aware guarantees applicable to modern deep-learning paradigms such as test-time inference and diffusion models.
- Abstract（参考訳）: 最近の理論は指数関数から多項式への一般化境界の深さ依存性を減らし、深さに依存しない速度も減らしているが、これらの結果は特定のアーキテクチャやユークリッド入力と結びついている。
任意の \blue{pseudo-metric} 空間に対して、深さ-(k\) ネットワークが連続隠れ写像 \(f:\mathcal{X}\to \mathcal{X}\) と出力写像 \(h:\mathcal{X}\to \mathbb{R}\) の合成であるような統一的なフレームワークを提案する。
結果として得られる$O(\sqrt{(\alpha + \log \beta(k))/n})$は、隠れた層によって生成される半群のワードボール成長である \(\beta(k)\ における唯一の深さ寄与を分離する。
グロモフの定理多項式 (resp.指数関数) による成長は、事実上零な (resp. expand) ダイナミクスに対応し、既存の$O(\sqrt{k})$(線型深さ)と$\tilde{O}(1)$(深度非依存)の後に幾何学的二分法を明らかにする。
さらに, 動的拡大が構成表現率による指数的パラメータの節約をもたらすことを示す被覆数推定を行った。
テスト時間推論や拡散モデルといった近代的なディープラーニングパラダイムに適用可能なアーキテクチャに依存しない動的システムの保証を提供する。
関連論文リスト
- How well behaved is finite dimensional Diffusion Maps? [0.0]
有限次元およびほぼ等距離拡散写像(DM)の後に有効である一連の性質を導出する。
DM埋め込み後の部分多様体上の推定接空間と真の接空間との誤差を定量化する。
これらの結果は,実践的応用におけるDMの性能と信頼性を理解するための確固たる理論的基盤を提供する。
論文 参考訳（メタデータ） (2024-12-05T09:12:25Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Exponential Separations in Symmetric Neural Networks [48.80300074254758]
我々は、対称なNetworkparencitesantoro 2017simple ArchitectureをDeepSetsparencitezaheerdeep Architectureの自然な一般化と見なしている。
解析活性化関数の制限の下で、次元が$N$の集合に作用する対称函数を$D$で構成する。
論文 参考訳（メタデータ） (2022-06-02T19:45:10Z) - Geometric Graph Representation Learning via Maximizing Rate Reduction [73.6044873825311]
学習ノード表現は、コミュニティ検出やノード分類などのグラフ解析において、さまざまな下流タスクの恩恵を受ける。
教師なしの方法でノード表現を学習するための幾何学グラフ表現学習(G2R)を提案する。
G2R は異なるグループ内のノードを異なる部分空間にマッピングし、各部分空間はコンパクトで異なる部分空間が分散される。
論文 参考訳（メタデータ） (2022-02-13T07:46:24Z) - Exponential Family Model-Based Reinforcement Learning via Score Matching [97.31477125728844]
有限水平表層強化学習(RL)のための楽観的モデルベースアルゴリズムSMRLを提案する。
SMRLは、リッジ回帰によるモデルパラメータの効率的な推定を可能にする非正規化密度推定手法であるスコアマッチングを用いる。
論文 参考訳（メタデータ） (2021-12-28T15:51:07Z) - Exponential Convergence of Deep Operator Networks for Elliptic Partial
Differential Equations [0.0]
楕円型二階PDEの係数対解写像の指数収束率でエミュレートする無限次元空間間の深い作用素ネットワーク(ONets)を構築する。
特に、$d$次元周期領域、$d=1, 2, dots$、分析右辺と係数に設定された問題を考える。
我々はONetのニューラルネットワークのサイズが$mathcalO(left|log(varepsilon)right|kappa)$であることを示す。
論文 参考訳（メタデータ） (2021-12-15T13:56:28Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Better Depth-Width Trade-offs for Neural Networks through the lens of
Dynamical Systems [24.229336600210015]
近年, 動的システムとの新たな接続により, ReLU ネットワークの深度分離結果を得た。
既存の幅の低い境界を、いくつかの面で改善する。
我々の結果の副産物は、深さ幅のトレードオフを特徴づける普遍定数が存在することである。
論文 参考訳（メタデータ） (2020-03-02T11:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。