論文の概要: Enhancing Burmese News Classification with Kolmogorov-Arnold Network Head Fine-tuning

• arxiv url: http://arxiv.org/abs/2511.21081v1
• Date: Wed, 26 Nov 2025 05:50:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.981934
• Title: Enhancing Burmese News Classification with Kolmogorov-Arnold Network Head Fine-tuning
• Title（参考訳）: Kolmogorov-Arnold Network Head Fine-tuning を用いたビルマニュース分類の強化
• Authors: Thura Aung, Eaint Kay Khaing Kyaw, Ye Kyaw Thu, Thazin Myint Oo, Thepchai Supnithi,
• Abstract要約: この研究はコルモゴロフ・アルノルドネットワーク(KAN)を代替分類として探索する。 Kanは低リソース言語分類のためのトランスフォーマーと競合するか、優れている。 これらの知見は、低リソース言語分類のためのトランスフォーマーの表現的で効率的な代替手段として、Kanが注目されている。
• 参考スコア（独自算出の注目度）: 0.26097841018267615
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In low-resource languages like Burmese, classification tasks often fine-tune only the final classification layer, keeping pre-trained encoder weights frozen. While Multi-Layer Perceptrons (MLPs) are commonly used, their fixed non-linearity can limit expressiveness and increase computational cost. This work explores Kolmogorov-Arnold Networks (KANs) as alternative classification heads, evaluating Fourier-based FourierKAN, Spline-based EfficientKAN, and Grid-based FasterKAN-across diverse embeddings including TF-IDF, fastText, and multilingual transformers (mBERT, Distil-mBERT). Experimental results show that KAN-based heads are competitive with or superior to MLPs. EfficientKAN with fastText achieved the highest F1-score (0.928), while FasterKAN offered the best trade-off between speed and accuracy. On transformer embeddings, EfficientKAN matched or slightly outperformed MLPs with mBERT (0.917 F1). These findings highlight KANs as expressive, efficient alternatives to MLPs for low-resource language classification.
• Abstract（参考訳）: ビルマのような低リソース言語では、分類タスクは最終分類層のみを微調整し、事前訓練されたエンコーダの重みを凍結し続ける。 MLP(Multi-Layer Perceptrons)は一般的に用いられるが、その固定された非線形性は表現性を制限し、計算コストを増大させる。 本研究では,FourierベースのFourierKAN,SplineベースのEfficientKAN,GridベースのFasterKAN,TF-IDF,fastText,マルチリンガルトランスフォーマー(mBERT,Distil-mBERT)などの多種多様な埋め込みについて検討する。 実験の結果,kan-based head is competitive with MLPs or superior than MLPs。 fastTextを使用した効率的なKANはF1スコア(0.928)を達成し、FasterKANは速度と精度の最良のトレードオフを提供した。 変圧器の埋め込みでは、EfficientKANはmBERT (0.917 F1) とMLPに適合またはわずかに優れていた。 これらの知見は、低リソース言語分類のためのMLPの表現的かつ効率的な代替手段として、Kansを浮き彫りにした。

関連論文リスト

• Improving Memory Efficiency for Training KANs via Meta Learning [55.24089119864207]
  我々は,MetaKANと呼ばれる,より小さなメタラーナーを用いて,kansの重みを生成することを提案する。 KansとMetaKanをエンドツーエンドの差別化方法でトレーニングすることで、MetaKanは同等あるいはそれ以上のパフォーマンスを達成できる。
  論文  参考訳（メタデータ） (2025-06-09T08:38:26Z)
• Leveraging FourierKAN Classification Head for Pre-Trained Transformer-based Text Classification [0.51795041186793]
  我々は、トランスフォーマーベースのエンコーダの分類ヘッドとして、KAN(Kolmogorov-Arnold Networks)と呼ばれる有望な代替手段の亜種FR-KANを紹介する。 本研究は, トランスフォーマーをベースとした事前学習モデルではなく, 従来の頭部を組み込んだ場合, F1スコアの平均精度が10%, F1スコアが11%向上することを示した。
  論文  参考訳（メタデータ） (2024-08-16T15:28:02Z)
• F-KANs: Federated Kolmogorov-Arnold Networks [3.8277268808551512]
  分類タスクにKAN(Kolmogorov-Arnold Networks)を利用する,革新的なフェデレートラーニング(FL)手法を提案する。 本研究は, 従来の多層パーセプトロン(MLP)分類タスクと比較して, 連合カンの性能を評価する。
  論文  参考訳（メタデータ） (2024-07-29T15:28:26Z)
• Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node [49.08777822540483]
  高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。 本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
  論文  参考訳（メタデータ） (2024-05-27T05:06:24Z)
• A Simple yet Effective Self-Debiasing Framework for Transformer Models [49.09053367249642]
  現在のTransformerベースの自然言語理解(NLU)モデルは、データセットバイアスに大きく依存している。 本稿では,トランスフォーマーベースNLUモデルのための簡易かつ効果的な自己退化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-02T20:31:58Z)
• CTC-based Non-autoregressive Speech Translation [51.37920141751813]
  非自己回帰音声翻訳における接続性時間分類の可能性について検討する。 我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
  論文  参考訳（メタデータ） (2023-05-27T03:54:09Z)
• Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition [6.917786124918387]
  我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。 文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
  論文  参考訳（メタデータ） (2022-10-23T16:27:31Z)
• Efficient Language Modeling with Sparse all-MLP [53.81435968051093]
  すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。 特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。 6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
  論文  参考訳（メタデータ） (2022-03-14T04:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。