論文の概要: GNet: A scalable and flexible Gaussian process network with nonparametric neurons
- arxiv url: http://arxiv.org/abs/2607.10735v2
- Date: Wed, 15 Jul 2026 16:53:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 12:21:59.352919
- Title: GNet: A scalable and flexible Gaussian process network with nonparametric neurons
- Title(参考訳): GNet:非パラメトリックニューロンを用いたスケーラブルで柔軟なガウスプロセスネットワーク
- Authors: Mengyang Gu,
- Abstract要約: ガウス過程をモデル化した非パラメトリックアクティベーション機能を備えたスケーラブルで柔軟なガウスプロセスネットワークであるGNetを開発した。
統一された最適化設定を使用して、GNetは様々なテスト問題で競合するパフォーマンスを示す。
GNetの強い性能は、共同逆カルマンフィルタによって加速され、大規模予測モデルに適用可能であることを示唆している。
- 参考スコア(独自算出の注目度): 0.6599344783327052
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop GNet, a scalable and flexible Gaussian process network with nonparametric activation functions modeled by Gaussian processes. To reduce computational and storage costs, we introduce the jointly inverse Kalman filter, a fast algorithm together with closed-form expressions of gradients for accelerating model training and predictions without the need to form covariance matrices. Using a unified optimization setting, GNet shows competitive performance across a diverse range of test problems, including predicting nonlinear functions, nonparametric regression of real-world data, and predicting one-body direct correlation functions with high-dimensional inputs in classical density function theory. The strong performance of GNet, accelerated by the jointly inverse Kalman filter, suggests broad applicability to large-scale predictive modeling with substantially reduced computational and storage costs.
- Abstract(参考訳): ガウス過程をモデル化した非パラメトリックアクティベーション機能を備えたスケーラブルで柔軟なガウスプロセスネットワークであるGNetを開発した。
計算と記憶のコストを削減するため、共分散行列を形成することなくモデルトレーニングと予測を加速する勾配の閉形式表現と共に高速アルゴリズムである共役逆カルマンフィルタを導入する。
統一最適化設定を用いて、GNetは、非線形関数の予測、実世界のデータの非パラメトリック回帰、古典密度関数理論における高次元入力によるワンボディ直接相関関数の予測など、様々なテスト問題における競合性能を示す。
GNetの強い性能は、共同逆カルマンフィルタによって加速され、計算と記憶のコストを大幅に削減した大規模予測モデルに適用可能であることを示唆している。
関連論文リスト
- Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration [67.12978375116599]
勾配降下(GD)のステップが一般化されたパーセプトロンアルゴリズムのステップに還元されることを示す。
これは、ニューラルネットワークで観測される最適化力学と暗黙の加速現象を説明するのに役立つ。
論文 参考訳(メタデータ) (2025-12-12T14:16:35Z) - A Model-Constrained Discontinuous Galerkin Network (DGNet) for Compressible Euler Equations with Out-of-Distribution Generalization [0.0]
本稿では,モデル制約付き不連続なGalerkin Network (DGNet) アプローチを提案する。
DGNetの中核は、いくつかの重要な戦略のシナジーである。
1次元および2次元圧縮可能なオイラー方程式問題に対する包括的数値計算結果を提案する。
論文 参考訳(メタデータ) (2024-09-27T01:13:38Z) - Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks [2.0072624123275533]
一般化されたガウスニュートン(GGN)最適化法は、曲率推定を解法に組み込む。
本研究では、2層ニューラルネットワークを明示的な正規化で最適化するGGN法について検討する。
論文 参考訳(メタデータ) (2024-04-23T10:02:22Z) - Multi-Level GNN Preconditioner for Solving Large Scale Problems [0.0]
グラフニューラルネットワーク(GNN)はメッシュのような非構造化データから学ぶのに最適だが、小さな問題に制限されることが多い。
本稿では,GNNモデルを多レベルドメイン分解フレームワークに統合した新しいプレコンディショナーを提案する。
提案したGNNベースのプレコンディショナーは、Krylov法の効率を高めるために使用され、任意の精度の要求レベルに収束できるハイブリッド・ソルバとなる。
論文 参考訳(メタデータ) (2024-02-13T08:50:14Z) - NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。
NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。
我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
論文 参考訳(メタデータ) (2022-09-29T16:54:53Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳(メタデータ) (2021-01-06T17:36:26Z) - A Dynamical View on Optimization Algorithms of Overparameterized Neural
Networks [23.038631072178735]
我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。
その結果、ニューラルネットワークの収束挙動を利用することができる。
このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
論文 参考訳(メタデータ) (2020-10-25T17:10:22Z) - Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。
理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。
具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文 参考訳(メタデータ) (2020-06-02T11:17:55Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳(メタデータ) (2020-05-21T20:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。