論文の概要: Multi-Exit Kolmogorov-Arnold Networks: enhancing accuracy and parsimony

• arxiv url: http://arxiv.org/abs/2506.03302v1
• Date: Tue, 03 Jun 2025 18:41:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.006307
• Title: Multi-Exit Kolmogorov-Arnold Networks: enhancing accuracy and parsimony
• Title（参考訳）: Multi-Exit Kolmogorov-Arnold Networks: 精度とパーシモニーの向上
• Authors: James Bagrow, Josh Bongard,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) は高い精度と解釈可能性を組み合わせることで、科学的モデリングに有用である。 ここでは,各層がそれぞれ独自の予測分岐を持ち,ネットワークが複数の深さで正確な予測を同時に行えるマルチエグジットkanを紹介する。 このアーキテクチャは、各タスクに対して適切なレベルのモデルの複雑さを発見しながら、トレーニングを改善する深い監視を提供します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kolmogorov-Arnold Networks (KANs) uniquely combine high accuracy with interpretability, making them valuable for scientific modeling. However, it is unclear a priori how deep a network needs to be for any given task, and deeper KANs can be difficult to optimize. Here we introduce multi-exit KANs, where each layer includes its own prediction branch, enabling the network to make accurate predictions at multiple depths simultaneously. This architecture provides deep supervision that improves training while discovering the right level of model complexity for each task. Multi-exit KANs consistently outperform standard, single-exit versions on synthetic functions, dynamical systems, and real-world datasets. Remarkably, the best predictions often come from earlier, simpler exits, revealing that these networks naturally identify smaller, more parsimonious and interpretable models without sacrificing accuracy. To automate this discovery, we develop a differentiable "learning to exit" algorithm that balances contributions from exits during training. Our approach offers scientists a practical way to achieve both high performance and interpretability, addressing a fundamental challenge in machine learning for scientific discovery.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) は、高い精度と解釈可能性を組み合わせたもので、科学的モデリングに有用である。 しかしながら、ネットワークが与えられたタスクに対してどの程度の深さが必要なのかは未定であり、より深いkanは最適化が難しい可能性がある。 ここでは,各層がそれぞれ独自の予測分岐を持ち,ネットワークが複数の深さで正確な予測を同時に行えるマルチエグジットkanを紹介する。 このアーキテクチャは、各タスクに対して適切なレベルのモデルの複雑さを発見しながら、トレーニングを改善する深い監視を提供します。 マルチエグジットkanは、合成関数、動的システム、実世界のデータセットにおいて、標準、シングルエグジットバージョンを一貫して上回っている。 注目すべきは、最も良い予測は、しばしばより単純な出口から来ることであり、これらのネットワークは、精度を犠牲にすることなく、より小さく、より同義的で解釈可能なモデルを自然に特定することである。 この発見を自動化するために、トレーニング中に出口からのコントリビューションのバランスをとる、微分可能な「出口への学習」アルゴリズムを開発した。 我々のアプローチは、科学者に高性能と解釈可能性の両方を達成するための実践的な方法を提供し、科学的発見のための機械学習における根本的な課題に対処する。

関連論文リスト

• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Tackling the Accuracy-Interpretability Trade-off in a Hierarchy of Machine Learning Models for the Prediction of Extreme Heatwaves [41.94295877935867]
  ますます複雑な機械学習モデルの階層構造を用いて、フランス上空の極端熱波の確率論的予測を行う。 CNNは高い精度を提供するが、ブラックボックスの性質は解釈可能性を大幅に制限する。 ScatNetは、透明性を高めながら、CNNと同じようなパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-10-01T18:15:04Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Neural Network Pruning by Gradient Descent [7.427858344638741]
  我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。 ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。 我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
  論文  参考訳（メタデータ） (2023-11-21T11:12:03Z)
• Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
  本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。 我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。 本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
  論文  参考訳（メタデータ） (2023-07-04T05:19:19Z)
• Higher-order accurate two-sample network inference and network hashing [13.984114642035692]
  ネットワーク比較のための2サンプル仮説テストは、多くの重要な課題を示す。 我々は,新しいメソッドとその変種を特徴とする包括的ツールボックスを開発した。 提案手法は,既存のツールの高速化と精度に優れ,電力効率が最適であることが証明された。
  論文  参考訳（メタデータ） (2022-08-16T07:31:11Z)
• FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation [69.34011200590817]
  本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。 単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。 我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
  論文  参考訳（メタデータ） (2022-05-31T18:33:15Z)
• IQNAS: Interpretable Integer Quadratic Programming Neural Architecture Search [40.77061519007659]
  適合ネットワークを見つけるための一般的なアプローチは、制約付きニューラルネットワークサーチ(NAS)である。 従来はネットワークの精度に複雑な予測器を使用していた。 IQNAS (Interpretable Quadratic Programming Neural Architecture Search) を導入する。
  論文  参考訳（メタデータ） (2021-10-24T09:45:00Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。