論文の概要: ER-KANs: Efficient and Robust Kolmogorov-Arnold Networks for Data-Scarce Scientific Machine Learning
- arxiv url: http://arxiv.org/abs/2608.14773v1
- Date: Fri, 14 Aug 2026 16:15:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.077665
- Title: ER-KANs: Efficient and Robust Kolmogorov-Arnold Networks for Data-Scarce Scientific Machine Learning
- Title(参考訳): ER-KANs:データサイエンス機械学習のための効率的でロバストなKolmogorov-Arnoldネットワーク
- Abstract要約: トレーニングデータをSigma=0.1ノイズで劣化させた場合,ChebyKanのMSEは10.6倍に向上することを示した。
ER-KANは、ノイズの多いデータスカース設定をターゲットとした3つの設計選択を組み合わせる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The efficient-KAN literature---covering Chebyshev, wavelet, and radial-basis-function variants of the original Kolmogorov-Arnold Network---has been benchmarked almost entirely on clean data. We show that this choice conceals a large capability difference between architectures: ChebyKAN's test MSE (evaluated against clean ground truth) increases by a factor of 10.6x when training data is corrupted with sigma=0.1 noise, versus 7.9x for vanilla KAN, 1.7x for a standard MLP, and just 1.4x for our proposed ER-KAN. ER-KAN combines three design choices targeting the noisy, data-scarce setting: shared Gaussian RBF bases across all edges in a layer (providing locality and efficient parameterisation), curriculum noise injection during training (explicitly teaching noise robustness), and entropy-weighted adaptive regularisation (preventing overfitting at small N). The result is a 595-parameter network that matches MLP accuracy at moderate noise while degrading far more gracefully as noise grows. We evaluate on eight analytic functions (N in {50, 200, 500}, sigma in {0, 0.03, 0.1}), on a damped harmonic oscillator physics-informed neural network where ER-KAN achieves 4.2x lower solution MSE than MLP, and on a Burgers' equation PINN where all models fail to converge---a genuine limitation we report rather than suppress. We introduce the noise degradation ratio as a simple complementary metric and recommend it become a standard reporting requirement for efficient-KAN papers.
- Abstract(参考訳): Kolmogorov-Arnold NetworkのChebyshev、Wavelet、radial-basis-functionをカバーした効率的なKANの文献は、ほぼ完全にクリーンなデータに基づいてベンチマークされている。
トレーニングデータがシグマ=0.1ノイズで破損した場合、ChebyKANのテストMSEは10.6倍、バニラは7.9倍、標準MLPは1.7倍、提案したER-KANは1.4倍となる。
ER-KANはノイズの多いデータスカース設定をターゲットにした3つの設計選択を組み合わせた: 階層内のすべてのエッジにわたる共有ガウスRBFベース(局所性と効率的なパラメータ化を提供する)、トレーニング中のカリキュラムノイズインジェクション(特にノイズロバスト性を教える)、エントロピー重み付き適応正規化(小さなNでのオーバーフィッティングを回避する)。
その結果、595パラメータのネットワークが、中程度の雑音でMPPの精度と一致し、ノイズが大きくなるにつれてはるかに優雅に劣化する。
我々は8つの解析関数 (N in {50, 200, 500}, sigma in {0, 0.03, 0.1}) と、ER-KAN が MLP よりも4.2倍低い解 MSE を達成する減衰調和振動子物理学インフォームドニューラルネットワークと、全てのモデルが収束しないBurgers 方程式 PINN で評価する。
ノイズ劣化比を単純な相補的指標として導入し,効率的なKAN論文の標準報告要件となることを推奨する。
関連論文リスト
- Caliber: Cross-Architecture Extraction-Cost Control for Score-Returning APIs [27.21644231867863]
Caliberは、キャリブレーション問題としてノイズ選択を定式化するモデル抽出に対する防御である。
知識蒸留に返却されたスコアを使用する攻撃者に対して、Caliberは独立して同一に分散したガウスノイズを内部ロジットに追加する。
Caliberは、正方形中央2対数辺による雑音分散を正規化し、その結果の雑音効用関係をロジスティック曲線に適合させる。
論文 参考訳(メタデータ) (2026-08-02T05:58:00Z) - Rethinking Noise-Robust Training for Frozen Vision Foundation Models: A Cross-Dataset Benchmark with a Case Study of Small-Loss Failure [7.512887610816016]
軽微な分類ヘッドを持つ凍結視覚基礎モデル (VFM) は、医用画像の撮影にますます利用されている。
5つの医療データセット,3つのバックボーン,2つのノイズタイプ,5つのノイズレートにまたがる8つのノイズラベル手法のベンチマークを示す。
我々は,エビデンスに基づく指導と,実践的な勧告のための低信頼度特徴空間セレクタで締めくくる。
論文 参考訳(メタデータ) (2026-05-21T15:02:44Z) - Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。
選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。
これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文 参考訳(メタデータ) (2026-04-20T00:57:31Z) - Minimum-Action Learning: Energy-Constrained Symbolic Model Selection for Physical Law Identification from Noisy Data [0.0]
本稿では,予め規定された基本ライブラリから記号力法則を選択するフレームワークであるMinimum-Action Learning(MAL)を提案する。
広ステンシル加速度マッチング技術は1万倍のノイズ分散を低減し、難解な問題(SNR 0.02)を学習可能な問題(SNR 1.6)に変換する
生の正解率はケプラーの40%、フックの90%であり、エネルギー保存に基づく基準は全ての場合において真の力法則を識別し、100%のパイプラインレベル同定をもたらす。
論文 参考訳(メタデータ) (2026-03-16T20:45:49Z) - NIRVANA: Structured pruning reimagined for large language models compression [50.651730342011014]
直近のゼロショット保存精度と頑健な微調整のバランスをとるために, NIRVANAを導入した。
構造化プルーニングによって引き起こされる固有の課題にさらに対処するため、NIRVANAは層やモジュール間の適応的な空間割当機構を取り入れている。
Llama3, Qwen, T5モデルで行った実験では、NIRVANAは等価な空間制約の下で既存の構造化プルーニング法よりも優れていた。
論文 参考訳(メタデータ) (2025-09-17T17:59:00Z) - Noisy Test-Time Adaptation in Vision-Language Models [73.14136220844156]
テスト時間適応(TTA)は、テスト中のターゲットデータのみに依存することにより、ソースデータとターゲットデータの分散シフトに対処することを目的としている。
本稿では、ゼロショット方式で、テスト時にノイズのあるサンプルをターゲットとするデータにモデルを適応させることに焦点を当てたゼロショットノイズTTA(ZS-NTTA)を提案する。
本稿では, 冷凍機の出力を擬似ラベルとして利用し, ノイズ検出器の訓練を行う適応ノイズ検出器(AdaND)を提案する。
論文 参考訳(メタデータ) (2025-02-20T14:37:53Z) - Risk-Sensitive Diffusion: Robustly Optimizing Diffusion Models with Noisy Samples [58.68233326265417]
非画像データは実際のアプリケーションで広く使われており、ノイズが多い傾向にある。
リスク感受性SDEは、リスクベクトルによってパラメータ化された微分方程式(SDE)の一種である。
我々はガウス雑音分布と非ガウス雑音分布の両方について系統的研究を行う。
論文 参考訳(メタデータ) (2024-02-03T08:41:51Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳(メタデータ) (2023-02-19T15:24:37Z) - Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。
Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。
さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
論文 参考訳(メタデータ) (2023-01-02T07:13:28Z) - Denoising Noisy Neural Networks: A Bayesian Approach with Compensation [36.39188653838991]
ノイズニューラルネット(ノイズニューラルネット、Noisy Neural Network)は、ノイズの存在下でのNNの推測と訓練を指す。
本報告では, ノイズや症状から未汚染NN重量を推定する方法について検討する。
論文 参考訳(メタデータ) (2021-05-22T11:51:20Z) - Adaptive Multi-View ICA: Estimation of noise levels for optimal
inference [65.94843987207445]
Adaptive MultiView ICA (AVICA) はノイズの多いICAモデルであり、各ビューは共有された独立したソースと付加的なノイズの線形混合である。
AVICAは、その明示的なMMSE推定器により、他のICA法よりも優れたソース推定値が得られる。
実脳磁図(MEG)データでは,分解がサンプリングノイズに対する感度が低く,ノイズ分散推定が生物学的に妥当であることを示す。
論文 参考訳(メタデータ) (2021-02-22T13:10:12Z) - Method for classifying a noisy Raman spectrum based on a wavelet
transform and a deep neural network [0.0]
エンジンは2基の主エンジンで構成されている。
1次元ラマンスペクトルを2次元データに変換するためのフレームワークフロントエンドとしてウェーブレット変換を提案する。
最適分類器は、いくつかの従来の機械学習(ML)アルゴリズムとディープラーニング(DL)アルゴリズムを実装することで選択される。
論文 参考訳(メタデータ) (2020-09-09T02:31:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。