論文の概要: Fully Kolmogorov-Arnold Deep Model in Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2602.03156v1
- Date: Tue, 03 Feb 2026 06:14:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:15.280069
- Title: Fully Kolmogorov-Arnold Deep Model in Medical Image Segmentation
- Title(参考訳): 医用画像分割におけるフルコルモゴロフ・アルノルド深部モデル
- Authors: Xingyu Qiu, Xinghua Ma, Dong Liang, Gongning Luo, Wei Wang, Kuanquan Wang, Shuo Li,
- Abstract要約: 本研究は,提案したKA層とKAonv層がFC層とConv層を完全に置き換えた最初のフルKAベースディープモデルを提案する。
直接積み重ねられたkanと比較して、ALL U-KANはパラメータカウントの10倍の削減を実現し、メモリ消費を20倍以上削減する。
- 参考スコア(独自算出の注目度): 14.163607768788824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deeply stacked KANs are practically impossible due to high training difficulties and substantial memory requirements. Consequently, existing studies can only incorporate few KAN layers, hindering the comprehensive exploration of KANs. This study overcomes these limitations and introduces the first fully KA-based deep model, demonstrating that KA-based layers can entirely replace traditional architectures in deep learning and achieve superior learning capacity. Specifically, (1) the proposed Share-activation KAN (SaKAN) reformulates Sprecher's variant of Kolmogorov-Arnold representation theorem, which achieves better optimization due to its simplified parameterization and denser training samples, to ease training difficulty, (2) this paper indicates that spline gradients contribute negligibly to training while consuming huge GPU memory, thus proposes the Grad-Free Spline to significantly reduce memory usage and computational overhead. (3) Building on these two innovations, our ALL U-KAN is the first representative implementation of fully KA-based deep model, where the proposed KA and KAonv layers completely replace FC and Conv layers. Extensive evaluations on three medical image segmentation tasks confirm the superiority of the full KA-based architecture compared to partial KA-based and traditional architectures, achieving all higher segmentation accuracy. Compared to directly deeply stacked KAN, ALL U-KAN achieves 10 times reduction in parameter count and reduces memory consumption by more than 20 times, unlocking the new explorations into deep KAN architectures.
- Abstract(参考訳): 深く積み重ねられたkanは、高いトレーニング困難とかなりのメモリ要求のため、事実上不可能である。
そのため、既存の研究はカン層をほとんど含めず、カンの包括的探査を妨げている。
この研究はこれらの制限を克服し、初めて完全にKAベースのディープモデルを導入し、KAベースのレイヤーがディープラーニングにおける従来のアーキテクチャを完全に置き換え、優れた学習能力を実現することを実証した。
具体的には,(1) 提案したシェアアクティベーションKA(SaKAN) は,パラメータ化の簡易化と訓練サンプルの高密度化により最適化された Sprecher の表現定理を再構成し,トレーニングの難しさを軽減し,(2) 巨大な GPU メモリを消費しながらトレーニングに寄与するスプライン勾配を示し,メモリ使用量と計算オーバーヘッドを大幅に低減する Grad-Free Spline を提案する。
(3) この2つの革新に基づいて, 提案したKA層とKAonv層がFC層とConv層を完全に置き換えた, 完全なKAモデルの最初の代表的実装である。
3つの医用画像セグメンテーションタスクの広範囲な評価により、部分的なKAベースや従来のアーキテクチャと比較して完全なKAベースのアーキテクチャの優位性が確認され、より高いセグメンテーション精度が達成される。
直接積み重ねられたkanと比較して、ALL U-KANはパラメータカウントの10倍の削減を実現し、20倍以上のメモリ消費を削減し、より深いkanアーキテクチャへの新たな探索を解き放つ。
関連論文リスト
- Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models [71.9060068259379]
汎用推論モデルを構築するために,ケースド・ドメインワイド強化学習を提案する。
私たちの14Bモデルは、RLの後、LiveCodeBench v5/v6 ProでSFTの教師であるDeepSeek-R1-0528を上回り、インフォマティクスにおける2025 International Olympiad in Informatics (IOI)における銀の医療性能を上回りました。
論文 参考訳(メタデータ) (2025-12-15T18:02:35Z) - KARMA: Efficient Structural Defect Segmentation via Kolmogorov-Arnold Representation Learning [1.4743999768130438]
KARMAは1次元関数の合成を通じて複雑な欠陥パターンをモデル化するセマンティックセグメンテーションフレームワークである。
ベンチマークインフラストラクチャインスペクションデータセットの実験は、KARMAがIoUパフォーマンスの競争力または優位性を達成することを示した。
KARMAは、リアルタイムデプロイメントに適した推論速度を維持し、精度を損なうことなく、実用的な自動インフラ検査システムを実現する。
論文 参考訳(メタデータ) (2025-08-11T17:06:55Z) - Exploring Kolmogorov-Arnold Networks for Interpretable Time Series Classification [4.489167091323233]
Kolmogorov-Arnold Networks (KAN) はディープラーニングの代替として提案されている。
本稿では,UCRベンチマークアーカイブから117個のデータセットを用いた時系列分類のためのkanアーキテクチャについて検討する。
論文 参考訳(メタデータ) (2024-11-22T13:01:36Z) - On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。
実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
論文 参考訳(メタデータ) (2024-10-10T15:34:10Z) - One-for-All: Bridge the Gap Between Heterogeneous Architectures in
Knowledge Distillation [69.65734716679925]
知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。
既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。
我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
論文 参考訳(メタデータ) (2023-10-30T11:13:02Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳(メタデータ) (2022-12-05T14:47:52Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - Lipreading using Temporal Convolutional Networks [57.41253104365274]
現在の単語認識モデルは,残差ネットワークと双方向Gated Recurrent Unit層で構成されている。
このモデルの限界に対処し、その性能をさらに向上させる変更を提案する。
提案モデルでは,これらのデータセットにおいてそれぞれ1.2%と3.2%の絶対的な改善が得られた。
論文 参考訳(メタデータ) (2020-01-23T17:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。