論文の概要: Kolmogorov-Arnold Convolutions: Design Principles and Empirical Studies
- arxiv url: http://arxiv.org/abs/2407.01092v1
- Date: Mon, 1 Jul 2024 08:49:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 22:19:31.930205
- Title: Kolmogorov-Arnold Convolutions: Design Principles and Empirical Studies
- Title（参考訳）: Kolmogorov-Arnoldコンボリューション:設計原理と実証的研究
- Authors: Ivan Drokin,
- Abstract要約: 本稿では,コンピュータビジョン分野におけるKAN(Kolmogorov-Arnold Networks)の適用について検討する。
本論文では,コルモゴロフ・アルノルド畳み込み層に対するパラメータ効率設計と,事前学習したkanモデルに対するパラメータ効率の微調整アルゴリズムを提案する。
画像分類タスクのためのMNIST, CIFAR10, CIFAR100, Tiny ImageNet, ImageNet1k, HAM10000データセットについて実験を行った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The emergence of Kolmogorov-Arnold Networks (KANs) has sparked significant interest and debate within the scientific community. This paper explores the application of KANs in the domain of computer vision (CV). We examine the convolutional version of KANs, considering various nonlinearity options beyond splines, such as Wavelet transforms and a range of polynomials. We propose a parameter-efficient design for Kolmogorov-Arnold convolutional layers and a parameter-efficient finetuning algorithm for pre-trained KAN models, as well as KAN convolutional versions of self-attention and focal modulation layers. We provide empirical evaluations conducted on MNIST, CIFAR10, CIFAR100, Tiny ImageNet, ImageNet1k, and HAM10000 datasets for image classification tasks. Additionally, we explore segmentation tasks, proposing U-Net-like architectures with KAN convolutions, and achieving state-of-the-art results on BUSI, GlaS, and CVC datasets. We summarized all of our findings in a preliminary design guide of KAN convolutional models for computer vision tasks. Furthermore, we investigate regularization techniques for KANs. All experimental code and implementations of convolutional layers and models, pre-trained on ImageNet1k weights are available on GitHub via this https://github.com/IvanDrokin/torch-conv-kan
- Abstract（参考訳）: コルモゴロフ・アルノルドネットワーク(KAN)の出現は、科学コミュニティ内で大きな関心と議論を引き起こしている。
本稿では,コンピュータビジョン(CV)分野におけるkanの応用について検討する。
我々は、ウェーブレット変換や様々な多項式など、スプラインを超えた様々な非線形性オプションを考慮して、カンの畳み込み版について検討する。
そこで本研究では,Kanモデルに対して,KanモデルとKanモデルに対して,Kolmogorov-Arnold畳み込み層に対するパラメータ効率設計とパラメータ効率の微調整アルゴリズムを提案する。
画像分類タスクのためのMNIST, CIFAR10, CIFAR100, Tiny ImageNet, ImageNet1k, HAM10000データセットについて実験を行った。
さらに、セグメンテーションタスク、Kankan畳み込みによるU-Netのようなアーキテクチャの提案、BUSI、GlaS、CVCデータセットの最先端結果の達成についても検討する。
我々は,コンピュータビジョンタスクのためのKAN畳み込みモデルの予備設計ガイドに,すべての知見を要約した。
さらに,KAの正規化手法についても検討する。
ImageNet1kの重みで事前トレーニングされた畳み込みレイヤとモデルの試験コードと実装は、このhttps://github.com/IvanDrokin/torch-conv-kanを通じてGitHubで入手できる。
関連論文リスト
- KANICE: Kolmogorov-Arnold Networks with Interactive Convolutional Elements [1.663204995903499]
コンボリューショナルニューラルネットワーク(CNN)とコルモゴロフ・アルノルドネットワーク(KAN)の原理を組み合わせた,新しいニューラルネットワークアーキテクチャであるKanICEを紹介する。
KanICEはInteractive Convolutional Blocks (ICB) と Kan の線形層を CNN フレームワークに統合する。
MNIST, Fashion-MNIST, EMNIST, SVHNの4つのデータセットを用いて,KanICEの評価を行った。
論文 参考訳（メタデータ） (2024-10-22T16:50:34Z) - Kolmogorov-Arnold Network Autoencoders [0.0]
Kolmogorov-Arnold Networks (KAN)はMulti-Layer Perceptrons (MLP)に代わる有望な代替品である。
カンはコルモゴロフ・アルノルドの表現定理と密接に一致し、モデル精度と解釈可能性の両方を高める可能性がある。
この結果から,kanベースのオートエンコーダは復元精度の点で競争力を発揮することが示された。
論文 参考訳（メタデータ） (2024-10-02T22:56:00Z) - Convolutional Kolmogorov-Arnold Networks [41.94295877935867]
我々はConvolutional Kolmogorov-Arnold Networks (Convolutional Kans)を紹介する。
本稿では,Fashion-MNISTデータセットにまたがる従来のアーキテクチャに対して,Convolutional Kansの性能を実証的に検証する。
実験の結果、Kan Convolutionsはカーネル毎に学習し、コンピュータビジョンのためのディープラーニングの新たな視野を開くことが示されている。
論文 参考訳（メタデータ） (2024-06-19T02:09:44Z) - U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation [48.40120035775506]
Kolmogorov-Arnold Networks (KAN)は、非線形学習可能なアクティベーション関数のスタックを通じてニューラルネットワーク学習を再構築する。
トークン化中間表現であるU-KAN上に専用kan層を統合することにより,確立したU-Netパイプラインを検証,修正,再設計する。
さらに、拡散モデルにおける代替U-Netノイズ予測器としてのU-KANの可能性を探り、タスク指向モデルアーキテクチャの生成にその適用性を実証した。
論文 参考訳（メタデータ） (2024-06-05T04:13:03Z) - Neural Clustering based Visual Representation Learning [61.72646814537163]
クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。
本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。
FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
論文 参考訳（メタデータ） (2024-03-26T06:04:50Z) - How to Train Neural Field Representations: A Comprehensive Study and Benchmark [29.725680049946032]
本稿では、並列化を利用してニューラルネットワークのデータセットを高速に最適化するJAXベースのライブラリを提案する。
下流タスクに対するNeFの適合性に対する異なるハイパーパラメータの影響について検討する。
提案するライブラリと分析に基づいて、一般的な視覚データセットのニューラルネットワーク変種からなるベンチマークであるNeural Field Arenaを提案する。
論文 参考訳（メタデータ） (2023-12-16T20:10:23Z) - A new perspective on probabilistic image modeling [92.89846887298852]
本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。
DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。
本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
論文 参考訳（メタデータ） (2022-03-21T14:53:57Z) - A Battle of Network Structures: An Empirical Study of CNN, Transformer,
and MLP [121.35904748477421]
畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。
トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。
本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
論文 参考訳（メタデータ） (2021-08-30T06:09:02Z) - PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale
Convolutional Layer [76.44375136492827]
畳み込みニューラルネットワーク(CNN)は、しばしばスケールに敏感である。
我々は、この後悔を、より細かい粒度でマルチスケールの機能を利用して埋める。
提案した畳み込み演算は、PSConv(Poly-Scale Convolution)と呼ばれ、拡張率のスペクトルを混合する。
論文 参考訳（メタデータ） (2020-07-13T05:14:11Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。