論文の概要: KAN versus MLP on Irregular or Noisy Functions

• arxiv url: http://arxiv.org/abs/2408.07906v1
• Date: Thu, 15 Aug 2024 03:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-16 15:09:23.225056
• Title: KAN versus MLP on Irregular or Noisy Functions
• Title（参考訳）: 不規則関数と雑音関数のカン対MLP
• Authors: Chen Zeng, Jiahui Wang, Haoran Shen, Qiao Wang,
• Abstract要約: 我々は,不規則あるいはノイズのある関数上でのKAN(Kolmogorov-Arnold Networks)とMLP(Multi-Layer Perceptron)ネットワークの性能を比較した。 関数は正則関数、局所微分不能点を持つ連続関数、ジャンプ不連続点を持つ関数、特異点を持つ関数、雑音関数の6つの型に分類する。
• 参考スコア（独自算出の注目度）: 9.492965765929963
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we compare the performance of Kolmogorov-Arnold Networks (KAN) and Multi-Layer Perceptron (MLP) networks on irregular or noisy functions. We control the number of parameters and the size of the training samples to ensure a fair comparison. For clarity, we categorize the functions into six types: regular functions, continuous functions with local non-differentiable points, functions with jump discontinuities, functions with singularities, functions with coherent oscillations, and noisy functions. Our experimental results indicate that KAN does not always perform best. For some types of functions, MLP outperforms or performs comparably to KAN. Furthermore, increasing the size of training samples can improve performance to some extent. When noise is added to functions, the irregular features are often obscured by the noise, making it challenging for both MLP and KAN to extract these features effectively. We hope these experiments provide valuable insights for future neural network research and encourage further investigations to overcome these challenges.
• Abstract（参考訳）: 本稿では,KANとMLP(Multi-Layer Perceptron)ネットワークの性能を不規則あるいは雑音で比較する。 パラメータの数とトレーニングサンプルのサイズを制御し、公正な比較を確実にする。 明確性については、正則関数、局所微分不能点を持つ連続関数、ジャンプ不連続点を持つ関数、特異点を持つ関数、コヒーレント振動を持つ関数、雑音関数の6つの型に分類する。 実験結果から,KANが常に最善を尽くすとは限らないことが示唆された。 ある種の関数に対して、MLPはKaninよりも優れ、あるいは同等に機能する。 さらに、トレーニングサンプルのサイズが大きくなると、ある程度パフォーマンスが向上する。 関数に雑音を加えると、不規則な特徴がノイズによって隠蔽されることがしばしばあり、MPPとKANがこれらの特徴を効果的に抽出することは困難である。 これらの実験が将来のニューラルネットワーク研究に貴重な洞察を与え、これらの課題を克服するためのさらなる調査を奨励することを期待しています。

関連論文リスト

• Reasoning with Reinforced Functional Token Tuning [70.96651128307985]
  本稿では,大規模言語モデル(LLM)に自己学習能力を持たせるためにRFTT(Reinforced Functional Token Tuning)を提案する。 RFTTは、学習可能な関数トークンの豊富なセットをモデル語彙に直接埋め込んで、多様な人間のような推論行動によるチェーン・オブ・思想の構築を可能にする。
  論文  参考訳（メタデータ） (2025-02-19T02:59:42Z)
• Rethinking the Function of Neurons in KANs [1.223779595809275]
  コルモゴロフ・アルノルドネットワーク(KAN)のニューロンは、コルモゴロフ・アルノルド表現定理によって動機付けられた単純な和を実行する。 本研究では,KANニューロンに対する代替多変量関数の同定の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-30T09:04:23Z)
• Noise-Resilient Unsupervised Graph Representation Learning via Multi-Hop Feature Quality Estimation [53.91958614666386]
  グラフニューラルネットワーク(GNN)に基づく教師なしグラフ表現学習(UGRL) マルチホップ特徴量推定(MQE)に基づく新しいUGRL法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T12:24:28Z)
• Tuning Pre-trained Model via Moment Probing [62.445281364055795]
  本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。 当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
  論文  参考訳（メタデータ） (2023-07-21T04:15:02Z)
• Nuisance Function Tuning and Sample Splitting for Optimal Doubly Robust Estimation [5.018363990542611]
  二重頑健な非パラメトリック関数に対する収束率の最適値を求めるために、ニュアンス関数を推定する方法の問題点を考察する。 プラグインおよび一階偏り補正された推定器は、ニュアンス関数のすべてのH"古い滑らか度クラスに対して収束の最小値が得られることを示す。
  論文  参考訳（メタデータ） (2022-12-30T18:17:06Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Neural Network Approximation of Refinable Functions [8.323468006516018]
  本研究では, 深部ReLUネットワークの出力幅が一定であり, 精度指数で深部を増大させることにより, 精錬可能関数が近似可能であることを示す。 本研究は,ウェーブレットの標準構成に使用される関数と,コンピュータ支援幾何設計における部分分割アルゴリズムを用いて構築される関数に適用する。
  論文  参考訳（メタデータ） (2021-07-28T06:45:36Z)
• Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions [0.0]
  この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
  論文  参考訳（メタデータ） (2021-07-04T18:20:27Z)
• Minimax Kernel Machine Learning for a Class of Doubly Robust Functionals [16.768606469968113]
  もともと導入された二重頑健なモーメント関数のクラスを考える(Robins et al., 2008)。 このモーメント関数は、ニュアンス関数の推定方程式の構築に使用できることを実証する。 ニュアンス関数の収束速度は、統計学習理論の現代的な手法を用いて解析される。
  論文  参考訳（メタデータ） (2021-04-07T05:52:15Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• iffDetector: Inference-aware Feature Filtering for Object Detection [70.8678270164057]
  Inference-aware Feature Filtering (IFF)モジュールを導入し、現代の検出器と簡単に組み合わせることができる。 IFFは、畳み込み機能を強化するためにハイレベルなセマンティクスを活用することでクローズドループ最適化を行う。 IFFはCNNベースの物体検出器とプラグアンドプレイ方式で融合でき、計算コストのオーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2020-06-23T02:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。