論文の概要: How Deep Are Deep GPs, Really? A Sharp Threshold and a Non-Gaussian Limit for Compositional GPs
- arxiv url: http://arxiv.org/abs/2606.08218v1
- Date: Sat, 06 Jun 2026 15:12:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:05.979621
- Title: How Deep Are Deep GPs, Really? A Sharp Threshold and a Non-Gaussian Limit for Compositional GPs
- Title（参考訳）: 深部GPはどこまで深いのか? シャープ閾値と組成GPの非ガウス限界
- Authors: Mark Kozdoba, Shie Mannor,
- Abstract要約: 以前の研究により、RBFカーネルと特定の帯域幅$r$に対して、前者は限界で縮退することがわかった。
しきい値以下$r$の場合、r_c(d)$ は制限分布 $_barZ$ に収束する。
- 参考スコア（独自算出の注目度）: 48.096969031315744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compositional priors describe the generic properties of layered functions in deep Bayesian models, where deep neural networks with random weights are a canonical example.In the wide-network limit, the prior is a Gaussian process with a depth-dependent kernel, and its behaviour as depth grows has been extensively studied through this kernel. Here, we study another case, where each layer itself is a vector valued Gaussian process, and our aim is similarly to understand the limiting behaviour of the prior as depth grows. Previous GP work has established that for the RBF kernel and a certain range of bandwidths $r$, the prior degenerates in the limit, converging to the set of constant functions -- which is not useful as a probabilistic model. In this paper we establish several new results. First, we identify a sharp bandwidth threshold $r_c(d) = Θ(\sqrt{d})$ above which the limit is degenerate, strengthening the earlier bounds. Second, and more importantly, we show that for $r$ below the threshold $r_c(d)$ the prior converges to a limit distribution $π_{\bar{Z}}$. We also prove that these distributions are non-degenerate and non-Gaussian, with non-vanishing dependence between coordinates. In contrast to the previously known degenerate regime, deep Gaussian process priors can therefore admit non-trivial limits. Empirically, we verify the threshold across a range of dimensions $d$, and demonstrate a complex multimodal behaviour of the limit distributions $π_{\bar{Z}}$ -- a regime that becomes increasingly narrow with $d$ and would be hard to identify without knowing the threshold.
- Abstract（参考訳）: 構成的事前は、ランダムウェイトを持つディープニューラルネットワークが標準的な例であるディープベイズモデルの階層関数の一般的な性質を記述しており、ワイドネットワークの限界では、プリエントは深さ依存のカーネルを持つガウス過程であり、深さの増大に伴うその挙動は、このカーネルを通して広く研究されている。
ここでは,各層自体がベクトル値ガウス過程である場合と,深さが大きくなるにつれて先行の制限挙動を理解することが目的である。
これまでのGPの研究は、RBFカーネルと特定の帯域幅の$r$に対して、事前の縮退は、定数関数の集合に収束し、確率的モデルとして役に立たないことを証明している。
本稿では,いくつかの新しい結果について述べる。
まず、限界が縮退するシャープ帯域幅の閾値 $r_c(d) = s(\sqrt{d})$ を同定し、初期境界を強化する。
第二に、さらに重要なことは、$r$ が閾値 $r_c(d)$ より下にあるとき、前者は極限分布 $π_{\bar{Z}}$ に収束することを示す。
また、これらの分布は非退化かつ非ガウス的であり、座標間の非消滅的依存も証明する。
これまで知られていた退化状態とは対照的に、深いガウス過程の先行は非自明な極限を許容することができる。
経験的に、閾値を$d$の範囲で検証し、極限分布の複素マルチモーダルな振る舞いを実証する。
関連論文リスト
- Pointwise Complexity for Gaussian Fields: Upper Envelopes, Algorithmic Lower Bounds, and Separation [5.082462420126421]
中心ガウス過程に対する分散対応点ワイド・メジャー化測度定理を証明した。
この定理は古典的なジェネリックチェインのフィールドレベルの再利用可能な洗練を提供する。
アルゴリズム的下界は固定推定器の点次複雑性の局所幾何学的証明を提供することを示す。
論文 参考訳（メタデータ） (2026-06-06T01:50:06Z) - Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
基本的で長期にわたる課題は、その効率的な近似である。
一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。
本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
論文 参考訳（メタデータ） (2026-04-09T16:38:14Z) - Hardness of High-Dimensional Linear Classification [58.29089693778071]
我々は、最大半空間離散性問題に対する次元下界の新たな指数関数を確立する。
どちらも計算幾何学と機械学習の基本的問題であり、その正確で近似的な形式である。
論文 参考訳（メタデータ） (2026-03-19T15:53:41Z) - Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights [15.424946932398713]
有限次モーメントを持つ無作為重みを持つディープニューラルネットワークの有限次元分布(FDD)について検討する。
我々は、FDDとガウス極限の間のワッサーシュタイン-1$ノルムにガウス近似境界を確立する。
すべての幅が共通のスケールパラメータ$n$に比例し、隠された層が$L-1$である特別な場合、任意の$epsilon > 0$に対して$n-(1/6)L-1 + epsilon$の収束率を得る。
論文 参考訳（メタデータ） (2025-07-16T23:41:09Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Neural signature kernels as infinite-width-depth-limits of controlled
ResNets [5.306881553301636]
ニューラル制御微分方程式のオイラー離散化として定義されるランダム制御ResNet(ニューラルCDE)を考える。
無限幅幅の極限と適切なスケーリングの下では、これらのアーキテクチャは連続経路のある空間にインデックス付けされたガウス過程に弱収束することを示す。
有限幅制御されたResNetは,無限深度系において,ランダムなベクトル場を持つニューラルCDEに分布することを示す。
論文 参考訳（メタデータ） (2023-03-30T19:20:16Z) - A theory of representation learning gives a deep generalisation of
kernel methods [22.260038428890383]
我々は、新しい無限幅制限、ベイズ表現学習限界を開発する。
有限幅モデルにおける表現学習ミラーリングを示す。
次に、この制限と目的を、カーネルメソッドの柔軟な、より深い一般化として使用できる可能性を紹介します。
論文 参考訳（メタデータ） (2021-08-30T10:07:37Z) - Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。
この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文 参考訳（メタデータ） (2021-02-20T10:14:37Z) - Differentially Quantized Gradient Methods [53.3186247068836]
微分量子化グラディエントDescence (DQ-GD) が$maxsigma_mathrmGD, rhon 2-R$の線形収縮係数を得ることを示す。
あるクラス内のアルゴリズムは$maxsigma_mathrmGD, 2-R$よりも早く収束できない。
論文 参考訳（メタデータ） (2020-02-06T20:40:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。