論文の概要: Bridging KAN and MLP: MJKAN, a Hybrid Architecture with Both Efficiency and Expressiveness

• arxiv url: http://arxiv.org/abs/2507.04690v1
• Date: Mon, 07 Jul 2025 06:13:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.293855
• Title: Bridging KAN and MLP: MJKAN, a Hybrid Architecture with Both Efficiency and Expressiveness
• Title（参考訳）: KanとMLPをブリッジするMJKAN - 効率性と表現性の両方を備えたハイブリッドアーキテクチャ
• Authors: Hanseon Joo, Hayoung Choi, Ook Lee, Minjong Cheon,
• Abstract要約: Modulation Joint Kan (MJKAN)は、これらの課題を克服するために設計された新しいニューラルネットワーク層である。 MJKANは、FILM(Feature-wise Linear Modulation)のようなメカニズムと放射基底関数の活性化を統合している。 我々は,関数回帰,画像分類(MNIST, CIFAR-10/100),自然言語処理(AG News, SMS)など,様々なベンチマークでMJKANの性能を実証的に検証した。
• 参考スコア（独自算出の注目度）: 5.474797258314827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kolmogorov-Arnold Networks (KANs) have garnered attention for replacing fixed activation functions with learnable univariate functions, but they exhibit practical limitations, including high computational costs and performance deficits in general classification tasks. In this paper, we propose the Modulation Joint KAN (MJKAN), a novel neural network layer designed to overcome these challenges. MJKAN integrates a FiLM (Feature-wise Linear Modulation)-like mechanism with Radial Basis Function (RBF) activations, creating a hybrid architecture that combines the non-linear expressive power of KANs with the efficiency of Multilayer Perceptrons (MLPs). We empirically validated MJKAN's performance across a diverse set of benchmarks, including function regression, image classification (MNIST, CIFAR-10/100), and natural language processing (AG News, SMS Spam). The results demonstrate that MJKAN achieves superior approximation capabilities in function regression tasks, significantly outperforming MLPs, with performance improving as the number of basis functions increases. Conversely, in image and text classification, its performance was competitive with MLPs but revealed a critical dependency on the number of basis functions. We found that a smaller basis size was crucial for better generalization, highlighting that the model's capacity must be carefully tuned to the complexity of the data to prevent overfitting. In conclusion, MJKAN offers a flexible architecture that inherits the theoretical advantages of KANs while improving computational efficiency and practical viability.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KANs) は、固定活性化関数を学習可能な単変数関数に置き換えることに注意を払っているが、計算コストや一般的な分類タスクにおける性能欠陥など、実用上の限界がある。 本稿では,これらの課題を克服する新しいニューラルネットワーク層であるModulation Joint Kan (MJKAN)を提案する。 MJKAN は FiLM (Feature-wise Linear Modulation) のようなメカニズムと Radial Basis Function (RBF) のアクティベーションを統合し、Kans の非線形表現力とマルチレイヤーパーセプトロン (MLP) の効率を組み合わせたハイブリッドアーキテクチャを作成する。 我々は,関数回帰,画像分類(MNIST, CIFAR-10/100),自然言語処理(AG News, SMS Spam)など,様々なベンチマークでMJKANの性能を実証的に検証した。 その結果、MJKANは、関数回帰タスクにおいて優れた近似能力を達成し、MLPを著しく上回り、基底関数の数が増えるにつれて性能が向上することを示した。 逆に、画像とテキストの分類では、その性能はMLPと競合するが、基底関数の数に重要な依存があることが判明した。 より小さなベースサイズはより一般化するために重要であり、過度な適合を防ぐために、モデルのキャパシティがデータの複雑さに合わせて慎重に調整される必要があることを強調した。 結論として、MJKANは、計算効率と実用性を改善しつつ、Kansの理論的優位性を継承する柔軟なアーキテクチャを提供する。

関連論文リスト

• Q-function Decomposition with Intervention Semantics with Factored Action Spaces [51.01244229483353]
  元の作用空間の低次元射影部分空間上で定義されるQ-函数を考察し、分解されたQ-函数の不偏性について考察する。 これにより、標準モデルフリー強化学習アルゴリズムにおいて、予測Q関数を用いてQ関数を近似する動作分解強化学習と呼ばれる一般的なスキームが導かれる。
  論文  参考訳（メタデータ） (2025-04-30T05:26:51Z)
• Enhancing Physics-Informed Neural Networks with a Hybrid Parallel Kolmogorov-Arnold and MLP Architecture [0.0]
  並列化されたkanとブランチを統一されたPINNフレームワークに統合する新しいアーキテクチャを提案する。 HPKM-PINNは、カンの解釈可能な関数近似と数値の非線形学習の相補的強度を最適にバランスさせるためのスケーリング係数xiを導入した。 これらの結果は、HPKM-PINNがKanの解釈可能性と堅牢性を活用できる能力を強調し、複雑なPDE駆動の問題を解決する汎用的でスケーラブルなツールとして位置づけている。
  論文  参考訳（メタデータ） (2025-03-30T02:59:32Z)
• LIFT: Latent Implicit Functions for Task- and Data-Agnostic Encoding [4.759109475818876]
  Implicit Neural Representations (INR)は、多様なデータドメインをまたいだタスクモデリングを統合するための強力なパラダイムであることが証明されている。 本稿では,メタラーニングによるマルチスケール情報をキャプチャする新しい高性能フレームワークLIFTを紹介する。 また、残差接続と表現頻度符号化を組み込んだLIFTの強化版であるReLIFTについても紹介する。
  論文  参考訳（メタデータ） (2025-03-19T17:00:58Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• On the Statistical Efficiency of Mean-Field Reinforcement Learning with General Function Approximation [20.66437196305357]
  平均フィールド制御(MFC)および平均フィールドゲーム(MFG)における強化学習の基本統計的効率を一般モデルに基づく関数近似を用いて検討する。 我々は平均場モデルクラス固有の複雑さを特徴付ける平均場モデルベースエルダー次元(MF-MBED)という新しい概念を導入する。
  論文  参考訳（メタデータ） (2023-05-18T20:00:04Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Local Function Complexity for Active Learning via Mixture of Gaussian Processes [5.382740428160009]
  実世界のデータにおける不均一性は、観測ノイズレベルの変化や源関数の構造的複雑さの変化により、統計的推測に固有の課題が生じる。 本稿では,局所関数複雑性(LFC)の推定に関する最近の理論的結果について述べる。 我々は、LPSベースのLFCのガウスプロセス回帰(GPR)に基づくアナログを導出、推定し、上記のフレームワークの代用として使用し、堅牢でスケーラブルにする。
  論文  参考訳（メタデータ） (2019-02-27T17:55:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。