論文の概要: KANICE: Kolmogorov-Arnold Networks with Interactive Convolutional Elements

• arxiv url: http://arxiv.org/abs/2410.17172v1
• Date: Tue, 22 Oct 2024 16:50:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:07.296680
• Title: KANICE: Kolmogorov-Arnold Networks with Interactive Convolutional Elements
• Title（参考訳）: KanICE: Kolmogorov-Arnold Networks with Interactive Convolutional Elements
• Authors: Md Meftahul Ferdaus, Mahdi Abdelguerfi, Elias Ioup, David Dobson, Kendall N. Niles, Ken Pathak, Steven Sloan,
• Abstract要約: コンボリューショナルニューラルネットワーク(CNN)とコルモゴロフ・アルノルドネットワーク(KAN)の原理を組み合わせた,新しいニューラルネットワークアーキテクチャであるKanICEを紹介する。 KanICEはInteractive Convolutional Blocks (ICB) と Kan の線形層を CNN フレームワークに統合する。 MNIST, Fashion-MNIST, EMNIST, SVHNの4つのデータセットを用いて,KanICEの評価を行った。
• 参考スコア（独自算出の注目度）: 1.663204995903499
• License:
• Abstract: We introduce KANICE (Kolmogorov-Arnold Networks with Interactive Convolutional Elements), a novel neural architecture that combines Convolutional Neural Networks (CNNs) with Kolmogorov-Arnold Network (KAN) principles. KANICE integrates Interactive Convolutional Blocks (ICBs) and KAN linear layers into a CNN framework. This leverages KANs' universal approximation capabilities and ICBs' adaptive feature learning. KANICE captures complex, non-linear data relationships while enabling dynamic, context-dependent feature extraction based on the Kolmogorov-Arnold representation theorem. We evaluated KANICE on four datasets: MNIST, Fashion-MNIST, EMNIST, and SVHN, comparing it against standard CNNs, CNN-KAN hybrids, and ICB variants. KANICE consistently outperformed baseline models, achieving 99.35% accuracy on MNIST and 90.05% on the SVHN dataset. Furthermore, we introduce KANICE-mini, a compact variant designed for efficiency. A comprehensive ablation study demonstrates that KANICE-mini achieves comparable performance to KANICE with significantly fewer parameters. KANICE-mini reached 90.00% accuracy on SVHN with 2,337,828 parameters, compared to KANICE's 25,432,000. This study highlights the potential of KAN-based architectures in balancing performance and computational efficiency in image classification tasks. Our work contributes to research in adaptive neural networks, integrates mathematical theorems into deep learning architectures, and explores the trade-offs between model complexity and performance, advancing computer vision and pattern recognition. The source code for this paper is publicly accessible through our GitHub repository (https://github.com/m-ferdaus/kanice).
• Abstract（参考訳）: 我々は、畳み込みニューラルネットワーク(CNN)とコルモゴロフ・アルノルドネットワーク(KAN)の原理を組み合わせた新しいニューラルネットワークであるKanICE(Kolmogorov-Arnold Networks with Interactive Convolutional Elements)を紹介する。 KanICEはInteractive Convolutional Blocks (ICB) と Kan の線形層を CNN フレームワークに統合する。 これは Kans の普遍近似能力と ICB の適応的特徴学習を活用する。 KanICEは、Kolmogorov-Arnold表現定理に基づいて、動的で文脈に依存した特徴抽出を可能にしながら、複雑な非線形データ関係をキャプチャする。 MNIST, Fashion-MNIST, EMNIST, SVHNの4つのデータセットを用いて, KanICEを標準CNN, CNN-KANハイブリッド, ICBの変種と比較した。 KanICEは一貫してベースラインモデルを上回っ、MNISTでは99.35%、SVHNデータセットでは90.05%の精度を達成した。 さらに,効率向上のために設計されたコンパクトな変種であるKanICE-miniを紹介する。 包括的アブレーション研究により、K KanICE-mini はパラメータが著しく少ない KanICE に匹敵する性能を達成していることが示された。 KanICE-miniはSVHNで2,337,828のパラメータで90.00%の精度に達した。 本研究は、画像分類タスクの性能と計算効率のバランスをとるために、kanベースのアーキテクチャがもたらす可能性を明らかにする。 我々の研究は適応ニューラルネットワークの研究に寄与し、数学的定理をディープラーニングアーキテクチャに統合し、モデルの複雑さと性能のトレードオフを探り、コンピュータビジョンとパターン認識を進歩させます。 この論文のソースコードはGitHubリポジトリから公開されています(https://github.com/m-ferdaus/kanice)。

関連論文リスト

• Kolmogorov-Arnold Network Autoencoders [0.0]
  Kolmogorov-Arnold Networks (KAN)はMulti-Layer Perceptrons (MLP)に代わる有望な代替品である。 カンはコルモゴロフ・アルノルドの表現定理と密接に一致し、モデル精度と解釈可能性の両方を高める可能性がある。 この結果から,kanベースのオートエンコーダは復元精度の点で競争力を発揮することが示された。
  論文  参考訳（メタデータ） (2024-10-02T22:56:00Z)
• Image Classification using Fuzzy Pooling in Convolutional Kolmogorov-Arnold Networks [0.0]
  我々は,コルモゴロフ・アルノルドネットワーク(KAN)分類ヘッドとファジィプールを畳み込みニューラルネットワーク(CNN)に統合するアプローチを提案する。 比較分析により,kan と Fuzzy Pooling による改良 CNN アーキテクチャは,従来のモデルと同等あるいは高い精度で実現可能であることが示された。
  論文  参考訳（メタデータ） (2024-07-23T08:18:04Z)
• Kolmogorov-Arnold Convolutions: Design Principles and Empirical Studies [0.0]
  本稿では,コンピュータビジョン分野におけるKAN(Kolmogorov-Arnold Networks)の適用について検討する。 本論文では,コルモゴロフ・アルノルド畳み込み層に対するパラメータ効率設計と,事前学習したkanモデルに対するパラメータ効率の微調整アルゴリズムを提案する。 画像分類タスクのためのMNIST, CIFAR10, CIFAR100, Tiny ImageNet, ImageNet1k, HAM10000データセットについて実験を行った。
  論文  参考訳（メタデータ） (2024-07-01T08:49:33Z)
• How to Learn More? Exploring Kolmogorov-Arnold Networks for Hyperspectral Image Classification [26.37105279142761]
  Kolmogorov-Arnold Networks (KANs) は視覚変換器 (ViTs) の代替として提案された。 本研究では,複雑なハイパースペクトル画像(HSI)データ分類におけるkansの有効性を評価する。 そこで我々は,1D,2D,3Dkanを用いたハイブリッドアーキテクチャを開発し,提案する。
  論文  参考訳（メタデータ） (2024-06-22T03:31:02Z)
• Kolmogorov-Arnold Network for Satellite Image Classification in Remote Sensing [4.8951183832371]
  本稿では,コンボリューションニューラルネットワーク(CNN)モデルとKAN(Kolmogorov-Arnold Network)を統合したリモートセンシングシーン分類タスクを提案する。 KCNと呼ばれる新しい手法は、従来のマルチ層パーセプトロン(MLP)をKANに置き換えて、分類性能を向上させることを目的としている。 我々はVGG16, MobileNetV2, EfficientNet, ConvNeXt, ResNet101, Vision Transformer (ViT) など,複数のCNNベースのモデルを用いて, Kanと組み合わせて性能評価を行った。
  論文  参考訳（メタデータ） (2024-06-02T03:11:37Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。