論文の概要: Residual Kolmogorov-Arnold Network for Enhanced Deep Learning

• arxiv url: http://arxiv.org/abs/2410.05500v2
• Date: Tue, 04 Mar 2025 06:34:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:12:08.858827
• Title: Residual Kolmogorov-Arnold Network for Enhanced Deep Learning
• Title（参考訳）: 深層学習のための残留コルモゴロフ・アルノルドネットワーク
• Authors: Ray Congrui Yu, Sherry Wu, Jiang Gui,
• Abstract要約: 我々はRKAN(Residual Kolmogorov-Arnold Network)を導入する。 提案するRKANモジュールは,よく知られたベンチマークデータセットのベースモデルに対して一貫した改善を提供する。
• 参考スコア（独自算出の注目度）: 0.5852077003870417
• License:
• Abstract: Despite their immense success, deep neural networks (CNNs) are costly to train, while modern architectures can retain hundreds of convolutional layers in network depth. Standard convolutional operations are fundamentally limited by their linear nature along with fixed activations, where multiple layers are needed to learn complex patterns, making this approach computationally inefficient and prone to optimization difficulties. As a result, we introduce RKAN (Residual Kolmogorov-Arnold Network), which could be easily implemented into stages of traditional networks, such as ResNet. The module also integrates polynomial feature transformation that provides the expressive power of many convolutional layers through learnable, non-linear feature refinement. Our proposed RKAN module offers consistent improvements over the base models on various well-known benchmark datasets, such as CIFAR-100, Food-101, and ImageNet.
• Abstract（参考訳）: 彼らの大きな成功にもかかわらず、ディープニューラルネットワーク(CNN)はトレーニングにコストがかかり、モダンアーキテクチャはネットワーク深度において数百の畳み込み層を保持することができる。 標準的な畳み込み演算は、線形の性質と、複雑なパターンを学習するために複数の層が必要である固定活性化により、基本的に制限されている。 その結果、RKAN(Residual Kolmogorov-Arnold Network)を導入し、ResNetのような従来のネットワークのステージに容易に実装できるようになった。 このモジュールはまた、多くの畳み込み層の表現力を提供する多項式特徴変換を統合する。 我々の提案するRKANモジュールは、CIFAR-100、Food-101、ImageNetなど、よく知られたベンチマークデータセットのベースモデルに対して、一貫した改善を提供する。

関連論文リスト

• Kolmogorov-Arnold Network Autoencoders [0.0]
  Kolmogorov-Arnold Networks (KAN)はMulti-Layer Perceptrons (MLP)に代わる有望な代替品である。 カンはコルモゴロフ・アルノルドの表現定理と密接に一致し、モデル精度と解釈可能性の両方を高める可能性がある。 この結果から,kanベースのオートエンコーダは復元精度の点で競争力を発揮することが示された。
  論文  参考訳（メタデータ） (2024-10-02T22:56:00Z)
• Suitability of KANs for Computer Vision: A preliminary investigation [28.030708956348864]
  Kolmogorov-Arnold Networks (KAN) はニューラルネットワークのパラダイムを導入し、ネットワークの端に学習可能な関数を実装する。 本研究は、視覚モデルにおけるkansの適用性と有効性を評価し、基本的な認識とセグメンテーションタスクに焦点をあてる。
  論文  参考訳（メタデータ） (2024-06-13T13:13:17Z)
• U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation [48.40120035775506]
  Kolmogorov-Arnold Networks (KAN)は、非線形学習可能なアクティベーション関数のスタックを通じてニューラルネットワーク学習を再構築する。 トークン化中間表現であるU-KAN上に専用kan層を統合することにより,確立したU-Netパイプラインを検証,修正,再設計する。 さらに、拡散モデルにおける代替U-Netノイズ予測器としてのU-KANの可能性を探り、タスク指向モデルアーキテクチャの生成にその適用性を実証した。
  論文  参考訳（メタデータ） (2024-06-05T04:13:03Z)
• Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
  本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。 本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
  論文  参考訳（メタデータ） (2024-06-03T07:44:37Z)
• TKAN: Temporal Kolmogorov-Arnold Networks [0.0]
  LSTM(Long Short-Term Memory)は、シーケンシャルデータにおける長期的な依存関係をキャプチャする能力を示している。 Kolmogorov-Arnold Networks (KANs) に触発されたマルチ層パーセプトロン(MLP)の代替案 我々はkanとLSTM、TKAN(Temporal Kolomogorov-Arnold Networks)にインスパイアされた新しいニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-05-12T17:40:48Z)
• An Efficient Speech Separation Network Based on Recurrent Fusion Dilated Convolution and Channel Attention [0.2538209532048866]
  本稿では,拡張畳み込み,マルチスケール融合(MSF),チャネルアテンションを組み合わせた効率的な音声分離ニューラルネットワーク ARFDCN を提案する。 実験結果から,本モデルでは性能と計算効率のバランスが良好であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T13:30:27Z)
• RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
  深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。 本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-17T11:06:29Z)
• Towards a General Purpose CNN for Long Range Dependencies in $\mathrm{N}$D [49.57261544331683]
  構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。 1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。 私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
  論文  参考訳（メタデータ） (2022-06-07T15:48:02Z)
• Image Super-resolution with An Enhanced Group Convolutional Neural Network [102.2483249598621]
  学習能力の強いCNNは、超解像問題を解くために広く選択されている。 浅層構造を持つ超解像群CNN(ESRGCNN)を提案する。 ESRGCNNは、SISRの性能、複雑さ、実行速度、画質評価およびSISRの視覚効果の観点から、最先端技術を上回っていると報告されている。
  論文  参考訳（メタデータ） (2022-05-29T00:34:25Z)
• Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
  ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。 本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
  論文  参考訳（メタデータ） (2020-09-21T16:32:04Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。