論文の概要: PostHoc FREE Calibrating on Kolmogorov Arnold Networks

• arxiv url: http://arxiv.org/abs/2503.01195v1
• Date: Mon, 03 Mar 2025 05:42:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:22:14.206408
• Title: PostHoc FREE Calibrating on Kolmogorov Arnold Networks
• Title（参考訳）: Kolmogorov Arnold Networks による PostHoc FREE の校正
• Authors: Wenhao Liang, Wei Emma Zhang, Lin Yue, Miao Xu, Olaf Maennel, Weitong Chen,
• Abstract要約: コルモゴロフ・アーノルドネットワーク(コルモゴロフ・アーノルドネットワーク、KAN)は、コルモゴロフ・アーノルドの表現定理に触発されたニューラルネットワークである。 Kansは、標準MultiLayer Perceptrons(MLPs)によってモデル化されたもの以外の複雑な非線形性を捉えることができる カンは、密集したデータ領域における過信と疎開な領域における過信と示す誤判定された信頼度をしばしば示す。
• 参考スコア（独自算出の注目度）: 16.957071012748454
• License:
• Abstract: Kolmogorov Arnold Networks (KANs) are neural architectures inspired by the Kolmogorov Arnold representation theorem that leverage B Spline parameterizations for flexible, locally adaptive function approximation. Although KANs can capture complex nonlinearities beyond those modeled by standard MultiLayer Perceptrons (MLPs), they frequently exhibit miscalibrated confidence estimates manifesting as overconfidence in dense data regions and underconfidence in sparse areas. In this work, we systematically examine the impact of four critical hyperparameters including Layer Width, Grid Order, Shortcut Function, and Grid Range on the calibration of KANs. Furthermore, we introduce a novel TemperatureScaled Loss (TSL) that integrates a temperature parameter directly into the training objective, dynamically adjusting the predictive distribution during learning. Both theoretical analysis and extensive empirical evaluations on standard benchmarks demonstrate that TSL significantly reduces calibration errors, thereby improving the reliability of probabilistic predictions. Overall, our study provides actionable insights into the design of spline based neural networks and establishes TSL as a robust loss solution for enhancing calibration.
• Abstract（参考訳）: コルモゴロフ・アーノルドネットワーク(コルモゴロフ・アーノルドネットワーク、英: Kolmogorov Arnold Networks、KAN)は、コルモゴロフ・アーノルドの表現定理に着想を得たニューラルネットワークである。 カンは、標準のマルチ層パーセプトロン(MLP)でモデル化された以上の複雑な非線形性を捉えることができるが、密集したデータ領域における過信とスパース領域における過信とを示す誤校正された信頼推定をしばしば示している。 本研究では, 層幅, 格子次数, ショートカット関数, グリッドレンジの4つの臨界パラメータがカンの校正に与える影響を系統的に検討する。 さらに,学習中の予測分布を動的に調整し,学習目標に直接温度パラメータを組み込む新しい温度スケール・ロス(TSL)を導入する。 標準ベンチマークにおける理論解析と広範な経験的評価は、TLLが校正誤差を著しく低減し、確率的予測の信頼性を向上させることを証明している。 全体として,本研究では,スプラインベースニューラルネットワークの設計に関する実用的な知見を提供し,キャリブレーション向上のためのロバストな損失解としてTLLを確立する。

関連論文リスト

• Imitation Learning of MPC with Neural Networks: Error Guarantees and Sparsification [5.260346080244568]
  本稿では,ニューラルネットワークを用いた模倣モデル予測制御系における近似誤差の有界化のためのフレームワークを提案する。 本稿では,この手法を用いて,性能保証付き安定型ニューラルネットワークコントローラを設計する方法について論じる。
  論文  参考訳（メタデータ） (2025-01-07T10:18:37Z)
• Calibrating Deep Neural Network using Euclidean Distance [5.675312975435121]
  機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。 高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。 本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
  論文  参考訳（メタデータ） (2024-10-23T23:06:50Z)
• Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
  我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。 ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-09-27T16:02:12Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• On the Calibration and Uncertainty with P\'{o}lya-Gamma Augmentation for Dialog Retrieval Models [30.519215651368683]
  ダイアログ応答検索モデルは、ある質問にどの程度関連があるかという応答に対して単一のスコアを出力します。 ディープニューラルネットワークのキャリブレーションの悪さは、信頼性の低い予測が常にユーザの判断を誤ったように、シングルスコアに対してさまざまな不確実性をもたらす。 対話応答検索モデルのための効率的な校正・不確実性推定フレームワークPG-DRRを提案する。
  論文  参考訳（メタデータ） (2023-03-15T13:26:25Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• Training Sparse Neural Network by Constraining Synaptic Weight on Unit Lp Sphere [2.429910016019183]
  単位 Lp-球面上のシナプス重みを制約することにより、p で空間を柔軟に制御することができる。 このアプローチは、幅広いドメインをカバーするベンチマークデータセットの実験によって検証されます。
  論文  参考訳（メタデータ） (2021-03-30T01:02:31Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。