論文の概要: Continuous-depth Deep Gaussian Processes

• arxiv url: http://arxiv.org/abs/2610.30890v1
• Date: Thu, 22 Oct 2026 08:06:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.279441
• Title: Continuous-depth Deep Gaussian Processes
• Title（参考訳）: 連続深部ガウス過程
• Abstract要約: 我々は、深さは長い離散的なスタックよりも潜伏した連続的な進化として扱うのがよいと論じる。 本研究では, 深度ドリフトに先立つ直接GPであるCDGPと, トレーニングコストが低い場合により深度依存性を捕捉するフロー進化型FlowDGPの2点について検討した。
• 参考スコア（独自算出の注目度）: 41.69841397425822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Gaussian processes (DGPs) are appealing Bayesian regression models, but their standard discrete-depth parameterization often becomes harder to optimize as depth grows. We argue that depth is better treated as a latent continuous evolution than as a long discrete stack. We therefore propose a continuous-depth formulation in which the latent representation follows a stochastic differential equation with a depth-indexed drift family equipped with a GP-based prior. This reframes the core design choice as the prior placed on that family, rather than adopting a purely neural continuous-depth parameterization as in neural ODE or neural SDE models. We study two instantiations of this idea: CDGP, a direct GP prior over the state--depth drift, and FlowDGP, a flow-evolved prior that captures richer depth dependence at lower training cost. To motivate the redesign, we analyze how the single-sample DGP objective can become increasingly sensitive under repeated layer composition, while residual DGP is a useful first repair that still remains a finite discrete construction. We also give pathwise sensitivity analysis for the continuous-depth formulation. Experiments on synthetic, benchmark, and large-scale regression tasks show that residual DGP improves over plain DGP, while CDGP and FlowDGP provide a stronger overall story across the regimes we study.
• Abstract（参考訳）: ディープガウス過程(DGP)はベイズ回帰モデルにアピールするが、それらの標準離散深度パラメータ化は深度が大きくなるにつれて最適化が困難になることが多い。 我々は、深さは長い離散的なスタックよりも潜伏した連続的な進化として扱う方がよいと論じる。 そこで我々は,GPをベースとしたドリフトファミリを持つ確率微分方程式に,遅延表現が従う連続深度定式化を提案する。 これは、ニューラルODEやニューラルSDEモデルのように純粋にニューラルな連続深度パラメータ化を採用するのではなく、そのファミリーに予め置かれたコアデザインの選択を再構成する。 本研究では, 深度ドリフトに先立つ直接GPであるCDGPと, より訓練コストの低い深度依存性を捕捉するフロー進化型FlowDGPの2点について検討した。 再設計の動機付けとして, 単サンプルDGPの目的が, 繰り返し層構成下でどのように敏感になるかを分析する。 また,連続深度定式化のためのパスワイズ感度解析を行った。 合成, ベンチマーク, 大規模回帰タスクの実験から, 残留DGPは通常のDGPよりも改善され, CDGPとFlowDGPは, 研究体制全体にわたって, より強い全体的ストーリを提供することが示された。

関連論文リスト

• An Analysis of Posterior Collapse, Parameterization and Initialization in Variational Deep Gaussian Processes [9.176056742068814]
  DGPは確率的モデルであり、いくつかの層にまたがるGPを達成する顕著な予測性能を持つ。 DGPの厳密な推論は難解であり、変分推論はクルバック・リーブラの発散を最小限にして調整されたパラメトリック分布と後部を近似するためにしばしば用いられる。 本研究は、DGPの後方崩壊について研究し、DSVIアルゴリズムと広く使われている線形先行平均関数との関係を同定する。
  論文  参考訳（メタデータ） (2026-06-24T14:25:39Z)
• STRIDE: Sparse Techniques for Regression in Deep Gaussian Processes [0.3277163122167433]
  大規模データを用いた深部GPトレーニングのための粒子ベース予測予測トレーニング手法を開発した。 標準ベンチマーク問題に対して,本手法を検証した。
  論文  参考訳（メタデータ） (2025-05-16T15:18:15Z)
• Thin and Deep Gaussian Processes [43.22976185646409]
  本研究は,ThinとDeep GP(TDGP)の両アプローチの新しい合成法を提案する。 また,TDGPが入力データ中の低次元多様体を特異的に検出するように調整されていること,TDGPが層数を増やすとうまく振る舞うこと,TDGPが標準ベンチマークデータセットで良好に動作すること,などを理論的および実験的に示す。
  論文  参考訳（メタデータ） (2023-10-17T18:50:24Z)
• Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains [7.936841911281107]
  我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。 我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
  論文  参考訳（メタデータ） (2023-06-01T16:31:36Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Deep Neural Networks as Point Estimates for Deep Gaussian Processes [44.585609003513625]
  本稿では,DGPの近似的な後進平均がディープニューラルネットワーク(DNN)と同じ数学的構造を持つスパース変分近似を提案する。 我々は、GP後方平均をReLU基底関数の和として表すドメイン間変換を求めることで、ReLU DNNと同等のDGPを前方通過させる。 実験は、現在のDGP法と比較して精度の向上とトレーニングの高速化を実証し、良好な予測不確実性を維持します。
  論文  参考訳（メタデータ） (2021-05-10T16:55:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。