論文の概要: Scalable Bayesian Physics-Informed Kolmogorov-Arnold Networks
- arxiv url: http://arxiv.org/abs/2501.08501v2
- Date: Tue, 21 Jan 2025 04:51:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:19:49.173353
- Title: Scalable Bayesian Physics-Informed Kolmogorov-Arnold Networks
- Title（参考訳）: スケーラブルベイズ物理学インフォームドコルモゴロフ・アルノルドネットワーク
- Authors: Zhiwei Gao, George Em Karniadakis,
- Abstract要約: Kolmogorov-Arnoldネットワーク(KAN)は、パラメータが少ない代替ソリューションを提供する。
そこで我々は,Chebyshev KansとTikhonovアンサンブルKalmanインバージョン(DTEKI)を併用した新しい手法を提案する。
この勾配のない方法は、オーバーフィッティングを効果的に軽減し、数値安定性を高める。
- 参考スコア（独自算出の注目度）: 2.7253509290710003
- License:
- Abstract: Uncertainty quantification (UQ) plays a pivotal role in scientific machine learning, especially when surrogate models are used to approximate complex systems. Although multilayer perceptions (MLPs) are commonly employed as surrogates, they often suffer from overfitting due to their large number of parameters. Kolmogorov-Arnold networks (KANs) offer an alternative solution with fewer parameters. However, gradient-based inference methods, such as Hamiltonian Monte Carlo (HMC), may result in computational inefficiency when applied to KANs, especially for large-scale datasets, due to the high cost of back-propagation. To address these challenges, we propose a novel approach, combining the dropout Tikhonov ensemble Kalman inversion (DTEKI) with Chebyshev KANs. This gradient-free method effectively mitigates overfitting and enhances numerical stability. Additionally, we incorporate the active subspace method to reduce the parameter-space dimensionality, allowing us to improve the accuracy of predictions and obtain more reliable uncertainty estimates. Extensive experiments demonstrate the efficacy of our approach in various test cases, including scenarios with large datasets and high noise levels. Our results show that the new method achieves comparable or better accuracy, much higher efficiency as well as stability compared to HMC, in addition to scalability. Moreover, by leveraging the low-dimensional parameter subspace, our method preserves prediction accuracy while substantially reducing further the computational cost.
- Abstract（参考訳）: 不確かさの定量化(UQ)は科学的な機械学習において重要な役割を担っている。
多層認識(MLP)は一般にサロゲートとして使用されるが、多くのパラメーターのために過度に適合する。
Kolmogorov-Arnoldネットワーク(KAN)は、パラメータが少ない代替ソリューションを提供する。
しかし、ハミルトニアン・モンテカルロ (HMC) のような勾配に基づく推論手法は、特に大規模データセットに適用した場合、バックプロパゲーションのコストが高いため、計算効率が低下する可能性がある。
これらの課題に対処するために,チホノフ・アンサンブル・カルマン・インバージョン(DTEKI)とチェビシェフ・カンスを組み合わせた新しい手法を提案する。
この勾配のない方法は、オーバーフィッティングを効果的に軽減し、数値安定性を高める。
さらに,パラメータ空間の次元性を低減するために活性部分空間法を導入し,予測精度を改善し,信頼性の高い不確実性推定値を得る。
大規模なデータセットと高騒音レベルのシナリオを含む,さまざまなテストケースにおいて,我々のアプローチの有効性を実証した。
提案手法は, スケーラビリティに加えて, HMCに比べて高い精度, 高い効率, 安定性を達成できることを示す。
さらに,低次元パラメータ部分空間を活用することにより,予測精度を保ちながら,計算コストを大幅に削減する。
関連論文リスト
- A sparse PAC-Bayesian approach for high-dimensional quantile prediction [0.0]
本稿では,高次元量子化予測のための確率論的機械学習手法を提案する。
擬似ベイズ的フレームワークとスケールした学生tとランゲヴィン・モンテカルロを併用して効率的な計算を行う。
その効果はシミュレーションや実世界のデータを通じて検証され、そこでは確立された頻繁な手法やベイズ的手法と競合する。
論文 参考訳（メタデータ） (2024-09-03T08:01:01Z) - Sine Activated Low-Rank Matrices for Parameter Efficient Learning [25.12262017296922]
低ランク分解過程に正弦波関数を統合する新しい理論枠組みを提案する。
我々の手法は、視覚変換器(ViT)、Large Language Models(LLM)、NeRF(Neural Radiance Fields)において、既存の低ランクモデルの強化を証明している。
論文 参考訳（メタデータ） (2024-03-28T08:58:20Z) - Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳（メタデータ） (2024-02-26T05:51:47Z) - A Metaheuristic for Amortized Search in High-Dimensional Parameter
Spaces [0.0]
本稿では,特徴インフォームド変換から次元還元を実現するメタヒューリスティックを提案する。
DR-FFITは、高次元空間における勾配自由パラメータ探索を容易にする効率的なサンプリング戦略を実装している。
実験データから,DR-FFITは,確立したメタヒューリスティックスに対するランダム検索とシミュレート・アニーリングの性能を向上させることが示された。
論文 参考訳（メタデータ） (2023-09-28T14:25:14Z) - Parallel and Limited Data Voice Conversion Using Stochastic Variational
Deep Kernel Learning [2.5782420501870296]
本稿では,限られたデータを扱う音声変換手法を提案する。
変分深層学習(SVDKL)に基づく。
非滑らかでより複雑な関数を推定することができる。
論文 参考訳（メタデータ） (2023-09-08T16:32:47Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳（メタデータ） (2023-06-06T19:02:57Z) - Scalable Gaussian Process Hyperparameter Optimization via Coverage
Regularization [0.0]
本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。
数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
論文 参考訳（メタデータ） (2022-09-22T19:23:37Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳（メタデータ） (2022-08-11T22:27:22Z) - Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-04-27T16:56:09Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。