論文の概要: Scalable Bayesian Physics-Informed Kolmogorov-Arnold Networks

• arxiv url: http://arxiv.org/abs/2501.08501v2
• Date: Tue, 21 Jan 2025 04:51:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 15:04:32.862025
• Title: Scalable Bayesian Physics-Informed Kolmogorov-Arnold Networks
• Title（参考訳）: スケーラブルベイズ物理学インフォームドコルモゴロフ・アルノルドネットワーク
• Abstract要約: Kolmogorov-Arnoldネットワーク(KAN)は、パラメータが少ない代替ソリューションを提供する。 そこで我々は,Chebyshev KansとTikhonovアンサンブルKalmanインバージョン(DTEKI)を併用した新しい手法を提案する。 この勾配のない方法は、オーバーフィッティングを効果的に軽減し、数値安定性を高める。
• 参考スコア（独自算出の注目度）: 2.7253509290710003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification (UQ) plays a pivotal role in scientific machine learning, especially when surrogate models are used to approximate complex systems. Although multilayer perceptions (MLPs) are commonly employed as surrogates, they often suffer from overfitting due to their large number of parameters. Kolmogorov-Arnold networks (KANs) offer an alternative solution with fewer parameters. However, gradient-based inference methods, such as Hamiltonian Monte Carlo (HMC), may result in computational inefficiency when applied to KANs, especially for large-scale datasets, due to the high cost of back-propagation. To address these challenges, we propose a novel approach, combining the dropout Tikhonov ensemble Kalman inversion (DTEKI) with Chebyshev KANs. This gradient-free method effectively mitigates overfitting and enhances numerical stability. Additionally, we incorporate the active subspace method to reduce the parameter-space dimensionality, allowing us to improve the accuracy of predictions and obtain more reliable uncertainty estimates. Extensive experiments demonstrate the efficacy of our approach in various test cases, including scenarios with large datasets and high noise levels. Our results show that the new method achieves comparable or better accuracy, much higher efficiency as well as stability compared to HMC, in addition to scalability. Moreover, by leveraging the low-dimensional parameter subspace, our method preserves prediction accuracy while substantially reducing further the computational cost.
• Abstract（参考訳）: 不確かさの定量化(UQ)は科学的な機械学習において重要な役割を担っている。 多層認識(MLP)は一般にサロゲートとして使用されるが、多くのパラメーターのために過度に適合する。 Kolmogorov-Arnoldネットワーク(KAN)は、パラメータが少ない代替ソリューションを提供する。 しかし、ハミルトニアン・モンテカルロ (HMC) のような勾配に基づく推論手法は、特に大規模データセットに適用した場合、バックプロパゲーションのコストが高いため、計算効率が低下する可能性がある。 これらの課題に対処するために,チホノフ・アンサンブル・カルマン・インバージョン(DTEKI)とチェビシェフ・カンスを組み合わせた新しい手法を提案する。 この勾配のない方法は、オーバーフィッティングを効果的に軽減し、数値安定性を高める。 さらに,パラメータ空間の次元性を低減するために活性部分空間法を導入し,予測精度を改善し,信頼性の高い不確実性推定値を得る。 大規模なデータセットと高騒音レベルのシナリオを含む,さまざまなテストケースにおいて,我々のアプローチの有効性を実証した。 提案手法は, スケーラビリティに加えて, HMCに比べて高い精度, 高い効率, 安定性を達成できることを示す。 さらに,低次元パラメータ部分空間を活用することにより,予測精度を保ちながら,計算コストを大幅に削減する。

関連論文リスト

• Scalable Lindblad Noise Learning via Stochastic Tensor-Network Simulation [48.887627688666974]
  大規模オープン量子システムにおける学習散逸率は、短期量子技術の大きな障害である。 本稿では,シミュレーション手法であるJump Method(TJM)を組み合わせたLindblad散逸率のスケーラブルなノイズ学習フレームワークを提案する。 我々は,Isingモデルにおける2つのノイズモデルに対するアプローチを実証し,各サイトについて,N_mathrmsite=16$まで独立散逸率を学習した。 スケーラブルな数値と厳密な理論的保証の組み合わせは、TJMベースのノイズ学習を大きな量子デバイスにおける散逸を特徴づける実用的な基礎として位置づけている。
  論文  参考訳（メタデータ） (2026-08-25T15:07:11Z)
• Neural network surrogates with uncertainty quantification for inverse problems in partial differential equations [11.776563892451817]
  本稿では、不確実性を考慮した予測を提供する微分方程式解法のためのニューラルネットワークサロゲートであるDeepGaLAを紹介する。 様々な数値実験において、DeepGaLAは、確立されたガウス過程のサロゲートに匹敵する精度でフォワードモデル近似を提供する。
  論文  参考訳（メタデータ） (2026-06-18T16:02:20Z)
• Bayesian Fine-tuning in Projected Subspaces [9.114051379014429]
  低ランク適応(LoRA)は、重み更新を低ランク行列に分解することで、大きなモデルのパラメータ効率の良い微調整を可能にする。 LoRAは不確実性の定量化のメカニズムが欠如しており、過度に自信を持ち、校正が不十分なモデルに繋がる。 パラメータ効率のよいベイズ微調整のための新しいフレームワークを提案し、非常に低次元のパラメータ空間において有効な不確実性定量化が達成できることを実証する。
  論文  参考訳（メタデータ） (2026-05-08T13:14:24Z)
• Efficiently Learning Synthetic Control Models for High-dimensional Disaggregated Data [6.075160426378313]
  合成制御法は因果効果を推定するための貴重なツールとなっている。 最近、複数の処理単位を持つ高次元非凝集状態における応用を見出した。 本稿では,多変数平方根ラッソ法を合成制御フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-10-26T20:43:52Z)
• Robust Filtering and Learning in State-Space Models: Skewness and Heavy Tails Via Asymmetric Laplace Distribution [8.60136504672206]
  本稿では,効率的な変分ベイズアルゴリズムと新しい単一ループパラメータ推定手法を提案する。 実験により,提案手法は様々なノイズ設定に対して一貫した頑健な性能を提供することを示した。
  論文  参考訳（メタデータ） (2025-07-30T03:06:27Z)
• Calibration of Quantum Devices via Robust Statistical Methods [45.464983015777314]
  量子パラメータ学習の最先端技術に対するベイズ推論の高度な統計的手法を数値解析する。 既存のアプローチ、すなわち多モード性および高次元性において、これらのアプローチの利点を示す。 我々の発見は、オープン量子システムの力学を学習する量子キャラクタリゼーションの課題に応用できる。
  論文  参考訳（メタデータ） (2025-07-09T15:22:17Z)
• Sample Margin-Aware Recalibration of Temperature Scaling [20.87493013833571]
  近年のディープラーニングの進歩は予測精度を大幅に改善した。 現代のニューラルネットワークは体系的に過信され、安全クリティカルなシナリオに展開するリスクを生じさせる。 本稿では,上位2つのロジット間のマージンに基づいて,ロジットを正確にスケールする軽量でデータ効率の高いリカバリ手法を提案する。
  論文  参考訳（メタデータ） (2025-06-30T03:35:05Z)
• Structure and asymptotic preserving deep neural surrogates for uncertainty quantification in multiscale kinetic equations [5.181697052513637]
  パラメータを持つ運動方程式の高次元性は不確実性定量化(UQ)の計算課題を提起する 伝統的なモンテカルロサンプリング法は、空間の次元が大きくなるにつれて、緩やかな収束と高い分散に悩まされる。 ニューラルネットワークの構造と保存に基づくサロゲートモデル(SAPNN)を導入する。 SAPNNは、肯定性、保存法則、エントロピー散逸、パラメータ制限など、重要な物理特性を満たすように設計されている。
  論文  参考訳（メタデータ） (2025-06-12T12:20:53Z)
• Projection Pursuit Density Ratio Estimation [44.71752951218575]
  密度比推定(DRE)は、複数の領域にまたがる幅広い応用のために、機械学習において最重要課題である。 密度比を推定するパラメトリック法は、モデルが不特定であればバイアスのある結果をもたらす可能性がある。 従来の非パラメトリック手法は、データ次元が大きければ次元の呪いに悩まされる。 本稿では,投射追跡近似に基づく新しいDRE手法を提案する。
  論文  参考訳（メタデータ） (2025-06-01T07:15:07Z)
• Muti-Fidelity Prediction and Uncertainty Quantification with Laplace Neural Operators for Parametric Partial Differential Equations [6.03891813540831]
  Laplace Neural Operators (LNOs) は、科学機械学習において有望なアプローチとして登場した。 低忠実度ベースモデルと並列線形/非線形HF補正と動的相互重み付けを組み合わせた多忠実Laplace Neural Operator (MF-LNOs)を提案する。 これにより、LFデータセットとHFデータセットの相関を利用して、興味のある量の正確な推測を行うことができる。
  論文  参考訳（メタデータ） (2025-02-01T20:38:50Z)
• A sparse PAC-Bayesian approach for high-dimensional quantile prediction [0.0]
  本稿では,高次元量子化予測のための確率論的機械学習手法を提案する。 擬似ベイズ的フレームワークとスケールした学生tとランゲヴィン・モンテカルロを併用して効率的な計算を行う。 その効果はシミュレーションや実世界のデータを通じて検証され、そこでは確立された頻繁な手法やベイズ的手法と競合する。
  論文  参考訳（メタデータ） (2024-09-03T08:01:01Z)
• Towards Physically Consistent Deep Learning For Climate Model Parameterizations [46.07009109585047]
  パラメータ化は、気候予測において、系統的なエラーと大きな不確実性の主な原因である。 深層学習(DL)に基づくパラメータ化は、計算に高価で高解像度のショートシミュレーションのデータに基づいて訓練されており、気候モデルを改善するための大きな可能性を示している。 本稿では,DLに基づくパラメータ化のための効率的な教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-06T10:02:49Z)
• Sine Activated Low-Rank Matrices for Parameter Efficient Learning [25.12262017296922]
  低ランク分解過程に正弦波関数を統合する新しい理論枠組みを提案する。 我々の手法は、視覚変換器(ViT)、Large Language Models(LLM)、NeRF(Neural Radiance Fields)において、既存の低ランクモデルの強化を証明している。
  論文  参考訳（メタデータ） (2024-03-28T08:58:20Z)
• Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
  パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。 キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
  論文  参考訳（メタデータ） (2024-02-26T05:51:47Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• A Metaheuristic for Amortized Search in High-Dimensional Parameter Spaces [0.0]
  本稿では,特徴インフォームド変換から次元還元を実現するメタヒューリスティックを提案する。 DR-FFITは、高次元空間における勾配自由パラメータ探索を容易にする効率的なサンプリング戦略を実装している。 実験データから,DR-FFITは,確立したメタヒューリスティックスに対するランダム検索とシミュレート・アニーリングの性能を向上させることが示された。
  論文  参考訳（メタデータ） (2023-09-28T14:25:14Z)
• Parallel and Limited Data Voice Conversion Using Stochastic Variational Deep Kernel Learning [2.5782420501870296]
  本稿では,限られたデータを扱う音声変換手法を提案する。 変分深層学習(SVDKL)に基づく。 非滑らかでより複雑な関数を推定することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:32:47Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization [0.0]
  本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。 数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
  論文  参考訳（メタデータ） (2022-09-22T19:23:37Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
  ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。 様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
  論文  参考訳（メタデータ） (2022-08-07T09:02:18Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。