論文の概要: Efficiency Bottlenecks of Convolutional Kolmogorov-Arnold Networks: A Comprehensive Scrutiny with ImageNet, AlexNet, LeNet and Tabular Classification

• arxiv url: http://arxiv.org/abs/2501.15757v2
• Date: Tue, 28 Jan 2025 04:26:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 13:21:36.952898
• Title: Efficiency Bottlenecks of Convolutional Kolmogorov-Arnold Networks: A Comprehensive Scrutiny with ImageNet, AlexNet, LeNet and Tabular Classification
• Title（参考訳）: Convolutional Kolmogorov-Arnold Networks: ImageNet, AlexNet, LeNet, Tabular Classification による包括的精査
• Authors: Ashim Dahal, Saydul Akbar Murad, Nick Rahimi,
• Abstract要約: Convolutional Kolmogorov Arnold Networks (CKANs) を ImageNet-1k データセットで130万イメージでトレーニングする。 CKANは、MoAやMNISTのような小さなデータセットではCNNよりもかなり遅いが、データセットがImageNetのように大きく複雑になるにつれて、ほぼ同等ではない。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Algorithmic level developments like Convolutional Neural Networks, transformers, attention mechanism, Retrieval Augmented Generation and so on have changed Artificial Intelligence. Recent such development was observed by Kolmogorov-Arnold Networks that suggested to challenge the fundamental concept of a Neural Network, thus change Multilayer Perceptron, and Convolutional Neural Networks. They received a good reception in terms of scientific modeling, yet had some drawbacks in terms of efficiency. In this paper, we train Convolutional Kolmogorov Arnold Networks (CKANs) with the ImageNet-1k dataset with 1.3 million images, MNIST dataset with 60k images and a tabular biological science related MoA dataset and test the promise of CKANs in terms of FLOPS, Inference Time, number of trainable parameters and training time against the accuracy, precision, recall and f-1 score they produce against the standard industry practice on CNN models. We show that the CKANs perform fair yet slower than CNNs in small size dataset like MoA and MNIST but are not nearly comparable as the dataset gets larger and more complex like the ImageNet. The code implementation of this paper can be found on the link: \href{https://github.com/ashimdahal/Study-of-Convolutional-Kolmogorov-Arnold-networks}{https://github.com/ashimdahal/Study-of-Convolutional-Kolmogorov-Arnold-networks}
• Abstract（参考訳）: 畳み込みニューラルネットワーク、トランスフォーマー、アテンションメカニズム、検索拡張生成など、アルゴリズムレベルの発達は、人工知能に変化をもたらした。 近年、コルモゴロフ・アルノルドネットワークはニューラルネットワークの基本概念に挑戦し、多層パーセプトロンと畳み込みニューラルネットワークを変えることを示唆している。 彼らは科学的モデリングの点で良い評価を受けたが、効率の面ではいくつかの欠点があった。 本稿では,コンボリュータル・コルモゴロフ・アーノルド・ネットワークス(CKAN)を,イメージNet-1kデータセットと1300万画像,MNISTデータセットと60万画像と表型生物科学関連MOAデータセットで訓練し,FLOPS,推論時間,トレーニング可能なパラメータ数,トレーニング時間と,CNNモデルの標準産業プラクティスに対して生成する精度,精度,リコール,f-1スコアに対して,CKANの約束をテストする。 CKANは、MoAやMNISTのような小さなデータセットではCNNよりもかなり遅いが、データセットがImageNetのように大きく複雑になるにつれて、ほぼ同等ではない。 この論文のコード実装はリンクで見ることができる。 \href{https://github.com/ashimdahal/Study-of-Convolutional-Kolmogorov-Arnold-networks}{https://github.com/ashimdahal/Study-of-Convolutional-Kolmogorov-Arnold-networks}

関連論文リスト

• Kolmogorov-Arnold Network Autoencoders [0.0]
  Kolmogorov-Arnold Networks (KAN)はMulti-Layer Perceptrons (MLP)に代わる有望な代替品である。 カンはコルモゴロフ・アルノルドの表現定理と密接に一致し、モデル精度と解釈可能性の両方を高める可能性がある。 この結果から,kanベースのオートエンコーダは復元精度の点で競争力を発揮することが示された。
  論文  参考訳（メタデータ） (2024-10-02T22:56:00Z)
• Kolmogorov-Arnold Convolutions: Design Principles and Empirical Studies [0.0]
  本稿では,コンピュータビジョン分野におけるKAN(Kolmogorov-Arnold Networks)の適用について検討する。 本論文では,コルモゴロフ・アルノルド畳み込み層に対するパラメータ効率設計と,事前学習したkanモデルに対するパラメータ効率の微調整アルゴリズムを提案する。 画像分類タスクのためのMNIST, CIFAR10, CIFAR100, Tiny ImageNet, ImageNet1k, HAM10000データセットについて実験を行った。
  論文  参考訳（メタデータ） (2024-07-01T08:49:33Z)
• Convolutional Neural Networks Exploiting Attributes of Biological Neurons [7.3517426088986815]
  畳み込みニューラルネットワーク(CNN)のようなディープニューラルネットワークは、最前線として登場し、しばしば人間の能力を上回っている。 ここでは,生物ニューロンの原理をCNNの特定の層に統合する。 我々は,CNNの入力として使用する画像の特徴を抽出し,訓練効率の向上と精度の向上を期待する。
  論文  参考訳（メタデータ） (2023-11-14T16:58:18Z)
• RIC-CNN: Rotation-Invariant Coordinate Convolutional Neural Network [56.42518353373004]
  回転不変座標変換(RIC-C)と呼ばれる新しい畳み込み演算を提案する。 CNNの標準畳み込み層を対応するRCC-Cに置き換えることで、RCC-CNNを導出することができる。 RIC-CNNはMNISTの回転試験データセット上で最先端の分類を実現することが観察できる。
  論文  参考訳（メタデータ） (2022-11-21T19:27:02Z)
• InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions [95.94629864981091]
  この研究は、パラメータの増加やViTsのようなトレーニングデータから得られるインターンイメージと呼ばれる、CNNベースの新しい大規模ファンデーションモデルを提案する。 提案されたInternImageは、従来のCNNの厳格な帰納バイアスを低減し、ViTのような大規模データから、より強く堅牢なパターンを学習できるようにする。
  論文  参考訳（メタデータ） (2022-11-10T18:59:04Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Portuguese Man-of-War Image Classification with Convolutional Neural Networks [58.720142291102135]
  ポルトガルマン・オブ・ウォー(ポルトガル語: Man-of-war、PMW)は、長い触手を持つゼラチン質の生物である。 本稿では,InstagramのソーシャルメディアからPMW画像を認識するための畳み込みニューラルネットワークの利用について報告する。
  論文  参考訳（メタデータ） (2022-07-04T03:06:45Z)
• Learning Convolutional Neural Networks in the Frequency Domain [33.902889724984746]
  本稿では,周波数領域でトレーニング可能な新しいニューラルネットワークモデルであるCEMNetを提案する。 過度な適合を緩和するために重み付け機構を導入し, バッチ正規化, Leaky ReLUおよびDropoutの作業挙動を解析した。 実験結果から,CEMNetは周波数領域でよく動作し,MNISTやCIFAR-10データベース上での良好な性能を実現することが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T03:08:40Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• DRU-net: An Efficient Deep Convolutional Neural Network for Medical Image Segmentation [2.3574651879602215]
  残留ネットワーク(ResNet)と密結合ネットワーク(DenseNet)は、ディープ畳み込みニューラルネットワーク(DCNN)のトレーニング効率と性能を大幅に改善した。 両ネットワークの利点を考慮した効率的なネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-04-28T12:16:24Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。