論文の概要: Reduced Effectiveness of Kolmogorov-Arnold Networks on Functions with Noise

• arxiv url: http://arxiv.org/abs/2407.14882v1
• Date: Sat, 20 Jul 2024 14:17:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 20:09:56.922614
• Title: Reduced Effectiveness of Kolmogorov-Arnold Networks on Functions with Noise
• Title（参考訳）: Kolmogorov-Arnold ネットワークの雑音機能に対する効果の低減
• Authors: Haoran Shen, Chen Zeng, Jiahui Wang, Qiao Wang,
• Abstract要約: データセットのノイズは、Kolmogorov-Arnoldネットワークの性能を著しく低下させる。 ノイズの影響を軽減するため,重畳法と重畳法を組み合わせたオーバーサンプリング手法を提案する。 オーバーサンプリングとフィルタリングの両方の手法を適用することで、ノイズの有害な影響を低減できると結論付けている。
• 参考スコア（独自算出の注目度）: 9.492965765929963
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: It has been observed that even a small amount of noise introduced into the dataset can significantly degrade the performance of KAN. In this brief note, we aim to quantitatively evaluate the performance when noise is added to the dataset. We propose an oversampling technique combined with denoising to alleviate the impact of noise. Specifically, we employ kernel filtering based on diffusion maps for pre-filtering the noisy data for training KAN network. Our experiments show that while adding i.i.d. noise with any fixed SNR, when we increase the amount of training data by a factor of $r$, the test-loss (RMSE) of KANs will exhibit a performance trend like $\text{test-loss} \sim \mathcal{O}(r^{-\frac{1}{2}})$ as $r\to +\infty$. We conclude that applying both oversampling and filtering strategies can reduce the detrimental effects of noise. Nevertheless, determining the optimal variance for the kernel filtering process is challenging, and enhancing the volume of training data substantially increases the associated costs, because the training dataset needs to be expanded multiple times in comparison to the initial clean data. As a result, the noise present in the data ultimately diminishes the effectiveness of Kolmogorov-Arnold networks.
• Abstract（参考訳）: データセットに少量のノイズがもたらされたとしても,kanの性能は著しく低下することが観察された。 本稿では,データセットにノイズが付加された場合のパフォーマンスを定量的に評価することを目的とする。 ノイズの影響を軽減するため,重畳法と重畳法を組み合わせたオーバーサンプリング手法を提案する。 具体的には、拡散マップに基づくカーネルフィルタリングを用いてノイズデータを事前フィルタリングし、kanネットワークをトレーニングする。 実験の結果,任意の固定SNRでi.d.ノイズを付加しながら,r$でトレーニングデータ量を増やすと,kansのテストロス(RMSE)は$\text{test-loss} \sim \mathcal{O}(r^{-\frac{1}{2}})$ as $r\to +\infty$のようなパフォーマンス傾向を示すことがわかった。 オーバーサンプリングとフィルタリングの両方の手法を適用することで、ノイズの有害な影響を低減できると結論付けている。 それにもかかわらず、カーネルフィルタリングプロセスの最適分散を決定することは困難であり、トレーニングデータセットを初期クリーンデータと比較して複数回拡張する必要があるため、トレーニングデータのボリュームが大幅に増大する。 その結果、データに存在するノイズは最終的にコルモゴロフ・アルノルドネットワークの有効性を低下させる。

関連論文リスト

• Dataset Distillers Are Good Label Denoisers In the Wild [16.626153947696743]
  ノイズ除去にデータセット蒸留を利用する新しい手法を提案する。 本手法は,既存の手法に共通するフィードバックループを回避し,訓練効率を向上させる。 各種ノイズ条件下での3つの代表的なデータセット蒸留法(DATM, DANCE, RCIG)を厳格に評価した。
  論文  参考訳（メタデータ） (2024-11-18T06:26:41Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding the Effect of Noise in LLM Training Data with Algorithmic Chains of Thought [0.0]
  思考の連鎖におけるノイズが,高度に制御された環境下でのタスクパフォーマンスに与える影響について検討する。 本研究では,CoTトレース処理後に適用される局所的な雑音と,トレース処理時にエラーを伝播する大域的なノイズであるテクトダイナミックノイズの2種類を定義した。 微調整されたモデルでは、高レベルの静的ノイズに対して非常に頑健であるが、低レベルの動的ノイズに対してかなり苦労している。
  論文  参考訳（メタデータ） (2024-02-06T13:59:56Z)
• FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy Labels [99.70895640578816]
  雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。 我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
  論文  参考訳（メタデータ） (2023-12-19T15:46:47Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Stabilization of generative adversarial networks via noisy scale-space [6.574517227976925]
  Generative adversarial Network(GAN)は、与えられた現実に基づいて偽のデータを生成するためのフレームワークです。 GANを安定化させるために、ノイズは実と偽の分布の重なりを拡大する。 データ平滑化はデータの寸法を減少させるが、ganが高周波情報を学習する能力を抑制する。
  論文  参考訳（メタデータ） (2021-05-01T11:32:16Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。