論文の概要: Wav-KAN: Wavelet Kolmogorov-Arnold Networks

• arxiv url: http://arxiv.org/abs/2405.12832v2
• Date: Mon, 27 May 2024 15:12:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 03:18:40.846821
• Title: Wav-KAN: Wavelet Kolmogorov-Arnold Networks
• Title（参考訳）: Wav-KAN:Wavelet Kolmogorov-Arnold Networks
• Authors: Zavareh Bozorgasl, Hao Chen,
• Abstract要約: Wav-KANは、Wavelet Kolmogorov-Arnold Networks(Wav-KAN)フレームワークを活用して、解釈性とパフォーマンスを向上させる革新的なニューラルネットワークアーキテクチャである。 我々の結果は、解釈可能な高性能ニューラルネットワークを開発するための強力なツールとして、Wav-KANの可能性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 3.38220960870904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce Wav-KAN, an innovative neural network architecture that leverages the Wavelet Kolmogorov-Arnold Networks (Wav-KAN) framework to enhance interpretability and performance. Traditional multilayer perceptrons (MLPs) and even recent advancements like Spl-KAN face challenges related to interpretability, training speed, robustness, computational efficiency, and performance. Wav-KAN addresses these limitations by incorporating wavelet functions into the Kolmogorov-Arnold network structure, enabling the network to capture both high-frequency and low-frequency components of the input data efficiently. Wavelet-based approximations employ orthogonal or semi-orthogonal basis and maintain a balance between accurately representing the underlying data structure and avoiding overfitting to the noise. While continuous wavelet transform (CWT) has a lot of potentials, we also employed discrete wavelet transform (DWT) for multiresolution analysis, which obviated the need for recalculation of the previous steps in finding the details. Analogous to how water conforms to the shape of its container, Wav-KAN adapts to the data structure, resulting in enhanced accuracy, faster training speeds, and increased robustness compared to Spl-KAN and MLPs. Our results highlight the potential of Wav-KAN as a powerful tool for developing interpretable and high-performance neural networks, with applications spanning various fields. This work sets the stage for further exploration and implementation of Wav-KAN in frameworks such as PyTorch and TensorFlow, aiming to make wavelets in KAN as widespread as activation functions like ReLU and sigmoid in universal approximation theory (UAT). The codes to replicate the simulations are available at https://github.com/zavareh1/Wav-KAN.
• Abstract（参考訳）: 本稿では、Wavelet Kolmogorov-Arnold Networks (Wav-KAN) フレームワークを活用し、解釈性と性能を向上させる革新的なニューラルネットワークアーキテクチャであるWav-KANを紹介する。 従来の多層パーセプトロン(MLP)や、Spl-KANのような最近の進歩は、解釈可能性、トレーニング速度、堅牢性、計算効率、パフォーマンスに関する課題に直面している。 Wav-KANは、ウェーブレット関数をコルモゴロフ・アルノルドネットワーク構造に組み込むことでこれらの制限に対処し、入力データの高周波成分と低周波成分の両方を効率的に捕捉することができる。 ウェーブレットに基づく近似は直交あるいは半直交の基底を使い、基礎となるデータ構造を正確に表現し、ノイズへの過度な適合を避けるためのバランスを維持する。 連続ウェーブレット変換 (CWT) には多くのポテンシャルがあるが, 多分解能解析には離散ウェーブレット変換 (DWT) を用いた。 水が容器の形にどのように適合しているかに似て、Wav-KANはデータ構造に適応し、Spl-KANやMLPと比較して精度が向上し、トレーニング速度が速く、堅牢性も向上した。 我々の研究結果は、様々な分野にまたがる、解釈可能な高性能ニューラルネットワークを開発するための強力なツールとして、Wav-KANの可能性を強調した。 この研究は、PyTorchやTensorFlowといったフレームワークにおけるWav-KANのさらなる探索と実装のステージを設定し、UAT(Universal Approximation Theory)におけるReLUやSigmoidのようなアクティベーション機能と同じくらい広範にkanのウェーブレットを提供することを目指している。 シミュレーションを再現するコードはhttps://github.com/zavareh1/Wav-KANで公開されている。

関連論文リスト

• WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
  深部画像登録は異常な精度と高速な推測を示した。 近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。 本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
  論文  参考訳（メタデータ） (2024-07-18T11:51:01Z)
• Unveiling the Power of Wavelets: A Wavelet-based Kolmogorov-Arnold Network for Hyperspectral Image Classification [3.009351592961681]
  本稿では,ウェーブレットをベースとしたKolmogorov-Arnold Network(wav-kan)アーキテクチャを用いて,複雑な依存関係の効率的なモデリングを行う。 ウェーブレットベースのアクティベーションにより、Wav-KANはマルチスケールの空間およびスペクトルパターンを効果的にキャプチャできる。
  論文  参考訳（メタデータ） (2024-06-12T04:52:40Z)
• An Innovative Networks in Federated Learning [3.38220960870904]
  本稿では,Wavelet Kolmogorov-Arnold Networks(Wav-KAN)の連合学習への応用について述べる。 我々は,連続ウェーブレット変換 (CWT) と離散ウェーブレット変換 (DWT) の両方を検討した。 さまざまなデータセットで大規模な実験を行い、解釈可能性、計算速度、トレーニング、テスト精度の点で、Wav-KANの優れた性能を実証した。
  論文  参考訳（メタデータ） (2024-05-28T05:20:01Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Wavelet-Inspired Multiscale Graph Convolutional Recurrent Network for Traffic Forecasting [0.0]
  本稿では,マルチスケール解析(MSA)法とディープラーニング(DL)法を組み合わせたグラフ・コンパス・リカレント・ネットワーク(WavGCRN)を提案する。 提案手法は,現実のトラフィックデータセット上での解釈可能性,強力な学習能力,および競合予測性能を提供する。
  論文  参考訳（メタデータ） (2024-01-11T16:55:48Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• An Efficient Speech Separation Network Based on Recurrent Fusion Dilated Convolution and Channel Attention [0.2538209532048866]
  本稿では,拡張畳み込み,マルチスケール融合(MSF),チャネルアテンションを組み合わせた効率的な音声分離ニューラルネットワーク ARFDCN を提案する。 実験結果から,本モデルでは性能と計算効率のバランスが良好であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T13:30:27Z)
• Hierarchical Spherical CNNs with Lifting-based Adaptive Wavelets for Pooling and Unpooling [101.72318949104627]
  本稿では, 階層型畳み込みニューラルネットワーク(HS-CNN)の新たな枠組みを提案し, プールやアンプールのための適応球面ウェーブレットを学習する。 LiftHS-CNNは、画像レベルのタスクとピクセルレベルのタスクの両方において、より効率的な階層的特徴学習を実現する。
  論文  参考訳（メタデータ） (2022-05-31T07:23:42Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• Conditioning Trick for Training Stable GANs [70.15099665710336]
  本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。 我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
  論文  参考訳（メタデータ） (2020-10-12T16:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。