論文の概要: Kolmogorov--Arnold Networks for Small Language Models

• arxiv url: http://arxiv.org/abs/2607.15525v1
• Date: Fri, 17 Jul 2026 00:22:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.720975
• Title: Kolmogorov--Arnold Networks for Small Language Models
• Title（参考訳）: Kolmogorov--Arnold Networks for Small Language Models
• Abstract要約: Kolmogorov--Arnold Networks (KAN) は、固定ノードの活性化を学習した1次元エッジ関数に置き換える。 Kansは学習した変換を監査するための実用的なインターフェースを提供するが、テストされた置換は、強いベースラインよりも一貫したベンチマーク、品質、レイテンシのアドバンテージを示すものではない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Kolmogorov--Arnold Networks (KANs) replace fixed node activations with learned one-dimensional edge functions, offering an explicit interface for interpretation and a possible alternative to transformer feed-forward networks. We test these claims separately. In a six-layer, 10M-parameter B-spline KAN, we reconstruct all 884,736 feed-forward edges: 87.8\% exceed (NLS>0.1) and 0.4\% are inactive. Pruning the lowest-activity 20--25\% causes negligible loss increase, although structured MLP neuron pruning tolerates comparable sparsity. The audit replicates on BabyLM, but grid-size sweeps show that near-total fPCA compression and high closed-form-fit coverage are properties of the low-capacity grid-2 basis, not universal KAN behavior. For replacement, we evaluate MLP, SwiGLU, grouped Chebyshev, and rational GR-KAN networks on BabyLM. The KAN-family and gated variants improve validation loss over the GELU MLP, but this ordering does not transfer to standardized benchmarks: across ten seeds and 59,875 BLiMP pairs, accuracies span 62.4--63.1\%, EWoK remains at chance, and a (+0.7)-point GR-KAN effect on BLiMP reverses on the supplement. Larger tests are also cautionary: parameter-matched MLPEdge underperforms the MLP on Wikitext-103, and 286M-parameter GR-KAN remains below a SwiGLU ClimbMix baseline after stabilization. Thus, small-basis KANs provide a practical, corpus-transferable interface for auditing learned scalar transformations, but the tested replacements show no consistent benchmark, quality, or latency advantage over strong MLP baselines.
• Abstract（参考訳）: Kolmogorov--Arnold Networks (KAN) は、固定ノードのアクティベーションを学習した1次元エッジ関数に置き換え、解釈のための明示的なインターフェースとトランスフォーマーフィードフォワードネットワークの代替となる可能性がある。 これらの主張を別々に検証する。 6層, 10MパラメータのB-スプラインカンでは, 884,736本のフィードフォワードエッジが87.8\%以上 (NLS>0.1), 0.4\%が不活性である。 低活性20-25-%のプルーニングは無視できる損失の増加を引き起こすが、構造化MLPニューロンプルーニングは同等の間隔を許容する。 オーディションはBabyLM上で複製されるが、グリッドサイズスイープは、FPCA圧縮と高いクローズドフォームカバレッジは、普遍的なKAN動作ではなく、低容量グリッド2ベースの特性であることを示している。 MLP, SwiGLU, grouped Chebyshev, and rational GR-KAN network on BabyLM。 Kan- familyとgate variantsはGELU MLPの検証損失を改善するが、この順序は10の種と59,875のBLiMPペア、Accuracies span 62.4--63.1\%、EWoKは偶然に残り、 (+0.7)-point GR-KAN はBLiMPの逆である。 パラメータマッチング MLPEdge は Wikitext-103 上で MLP を過小評価し、286M パラメータGR-KAN は安定化後の SwiGLU ClimbMix ベースラインの下にある。 このように、小さなバスカンは、学習したスカラー変換を監査するための実用的なコーパス変換可能なインターフェースを提供するが、テストされた置換は、強力なMLPベースラインよりも一貫したベンチマーク、品質、遅延のアドバンテージを示さない。

関連論文リスト

• Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models [5.20555845228727]
  この作業は、アライメントモデルからの重みを、複数のレベルの粒度で一致しない非アライメントベースモデルに移植することで、安全アライメントされた拒絶を符号化する。 両方のモデルファミリ全体では、拒絶転送は重みに支配されており、ベンチマークの少なくとも2.7倍の利得がある。 6つのグリージーな軌跡のうち5つは、より整列されたブロックを追加することで拒絶性能が低下し、選択されたブロックサブセットは悪意のある拒絶、良心的な過剰な拒絶、あるいはその両方において完全な移植よりも優れる。
  論文  参考訳（メタデータ） (2026-08-12T02:44:30Z)
• SparseKAN: Compressing Kolmogorov--Arnold Networks Across Basis Functions, Neurons, and Bits [6.860988566886594]
  基本関数,ニューロン/チャネル,数値精度の3つの相補的軸に沿ってkanを圧縮する統一的アプローチである textbfSparseKAN を提案する。 SparseKANは、基本分岐、非線形基底分岐、および個別基底項に、異なるアクティブコストの目的の下で訓練された階層的な学習可能なゲートを装備する。
  論文  参考訳（メタデータ） (2026-08-01T20:42:41Z)
• Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
  言語モデルは、進行中の計算の質を読み取ることができるか? 外部介入は、その読み出しをより良い結果に変えることができるか? 凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
  論文  参考訳（メタデータ） (2026-07-20T22:40:36Z)
• Sequential Consensus for Multi-Agent LLM Debates: A Wald-SPRT compute governor with calibration-based failure detection [0.0]
  マルチエージェントの議論は事実と推論を改善するが、ほとんどのレシピは固定されたラウンドカウントを選択する。 我々は,LLM討論のプラグイン計算として,Wald's Sequential Probability Ratio Test (SPRT)を適用した。 GSM8Kでは、ルールは1.01ラウンド(4.06 LLMコール)で97.0%の精度で終了するが、15回のコールで固定5の討論では99.0%の精度で終了する。 MMLUでは、キャリブレーションされたKLは約0に崩壊し、ルール上限は2.1倍のコストで99.5%となる。
  論文  参考訳（メタデータ） (2026-05-18T23:43:12Z)
• LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models [19.274512633962086]
  未構造化プルーニングの最先端手法は、最適脳サージオン原理から導かれる階層的なサロゲートである。 本稿では,この難易度パラメータ化をBernoulli-via-Gumbelシグモイド緩和法に置き換えるLEAPを提案する。 0.5Bから8Bパラメータの50%と60%の間隔で5つのLLMファミリーにまたがって、LEAPは6タスク平均ゼロショット精度をADMM平均で2.59ポイント改善する。
  論文  参考訳（メタデータ） (2026-05-17T07:01:13Z)
• Spectral Gating Networks [65.9496901693099]
  我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。 SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。 計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
  論文  参考訳（メタデータ） (2026-02-07T20:00:49Z)
• Parameter Reduction Improves Vision Transformers: A Comparative Study of Sharing and Width Reduction [0.0]
  我々は、ImageNet-1K上で、ViT-B/16に適用した2つの簡易還元戦略について検討した。 その結果,パラメータ共有や幅の縮小といったアーキテクチャ上の制約が,帰納的バイアスとして有用であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-30T20:04:30Z)
• MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts [0.0]
  大規模言語モデル(LLM)は、主に高密度トランスフォーマーとしてデプロイされ、すべてのトークンに対してフィードフォワードブロック内の全てのパラメータがアクティブになる。 MoEfication、CMoE、ToMoE、MoOREといった最近のアップサイクリング手法は、高密度フィードフォワードネットワーク内の疎小で半モジュラーなサブ構造に有用な計算の大部分が存在していることを明らかにしている。 本稿では,高密度の変圧器ブロックを静的な高心性混合体に再構成する学習自由変換であるMoE(MLP-Experts)を紹介する。
  論文  参考訳（メタデータ） (2025-11-26T06:14:26Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• NGRPO: Negative-enhanced Group Relative Policy Optimization [8.641009168869195]
  代表的RLVRアルゴリズムであるGRPOは、グループ内の全ての応答が完全に正しいか完全に間違っている場合、臨界的な制限に悩まされる。 これは、GRPO の優位関数が 0 の値を生成する等質的不正確な群に対して特に問題となる。 等質な誤りを頑健な学習信号に変換するアルゴリズムであるNGRPOを提案する。
  論文  参考訳（メタデータ） (2025-09-23T09:38:10Z)
• DiffusionNFT: Online Diffusion Reinforcement with Forward Process [99.94852379720153]
  Diffusion Negative-aware FineTuning (DiffusionNFT) は、フローマッチングを通じて前方プロセス上で直接拡散モデルを最適化する新しいオンラインRLパラダイムである。 DiffusionNFTは、CFGフリーのFlowGRPOよりも25倍効率が高い。
  論文  参考訳（メタデータ） (2025-09-19T16:09:33Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。 密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。 また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• Efficient Language Modeling with Sparse all-MLP [53.81435968051093]
  すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。 特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。 6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
  論文  参考訳（メタデータ） (2022-03-14T04:32:19Z)
• RepMLPNet: Hierarchical Vision MLP with Re-parameterized Locality [113.1414517605892]
  そこで本研究では,FC層に局所前処理を組み込む手法であるLocality Injectionを提案する。 RepMLPNetはCityscapesセマンティックセグメンテーションにシームレスに移行した最初の企業である。
  論文  参考訳（メタデータ） (2021-12-21T10:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。